Insights
AI가 자동으로 큐레이션·번역·정리하는 기술 동향 피드입니다.
본 논문은 에너지 및 화학 공정 분야에서 낮은 품질의 학습 데이터를 개선하기 위해 LLMs를 활용한 텍스트 기반 데이터 필터링 방법을 제안합니다. 이 방법은 비정형 운영 로그와 테이블 형식 센서 데이터를 통합하여 맥락적 이상을 탐지하고, 이를 통해 모델 개발에 사용될 학습 데이터셋을 효과적으로 필터링하는 것을 목표로 합니다.
AI 자동 생성 콘텐츠
본 콘텐츠는 arXiv cs.LG (Machine Learning)의 원문을 AI가 자동으로 요약·번역·분석한 것입니다. 원 저작권은 원저작자에게 있으며, 정확한 내용은 반드시 원문을 확인해 주세요.
원문 바로가기에너지, 양식업, 화학 공정 같은 분야에서 기계적 모델과 데이터 기반 모델 모두의 효과는 종종 낮은 품질의 학습 데이터로 인해 제한되며, 이는 근본적인 물리 법칙을 가리고 예측 정확도를 저하시킵니다. 이러한 품질 문제는 센서 고장부터 공정 이상, 잘못된 운영자 입력에 이르기까지 데이터셋 내의 비정상(anomaly)으로 나타나는 경우가 흔합니다. 전통적인 규칙 기반 필터링은 비정상 중 일부를 제거할 수는 있지만, 데이터가 어떤 조건에서 수집되었는지 설명하는 엔지니어 코멘트나 운영 로그와 같은 구조화되지 않은 텍스트로 저장된 맥락적 정보를 활용할 수는 없습니다. 본 논문에서는 대규모 언어 모델(LLMs)을 활용하여 비정형 운영 데이터와 테이블 형식의 센서 데이터를 통합하는 텍스트 기반 데이터 필터링 방법을 제안합니다. 이 방법은 두 단계로 구성됩니다: (1) 두 가지 데이터 양식에 걸쳐 추론함으로써 맥락적 이상 탐지, 그리고 (2) 모델 개발을 위해 학습 데이터셋을 필터링하는 데 적용되는 이진 마스크 생성입니다. 잠재적인 이점을 조사하기 위해, 우물 유량률을 추정하는 가상 유량계인 정상 상태 소프트 센서 회귀 모델이 다운스트림 평가 대상으로 사용되었습니다. 합성된 석유 및 가스 데이터셋에 대한 실험 결과는 전통적인 규칙 기반 필터링 대비 향상된 모델 성능을 보여주었습니다. 제거 연구(Ablation studies)를 통해 텍스트 형태의 운영자 코멘트가 센서 데이터만으로는 얻기 힘든 필터링 관련 신호를 제공할 수 있으며, 다중 모드 접근 방식은 센서 전용 필터링 대비 다운스트림 MAPE를 7.1%에서 5.4%로 감소시키는 것을 보여주었습니다. 본 연구는 LLMs를 통해 비정형 운영 지식을 센서 데이터와 통합함으로써 산업용 머신러닝 애플리케이션의 데이터 품질을 개선할 수 있으며, 이는 수동적인 데이터 큐레이션에 대한 확장 가능한 대안을 제공함을 입증합니다.