Insights
AI가 자동으로 큐레이션·번역·정리하는 기술 동향 피드입니다.
정전 보고서와 같이 엄격한 구조와 표준 준수가 필요한 도메인 특화 데이터 생성을 위해 최적화된 LLM인 POTracker를 제안합니다. 텍스트 유사성과 구조적 유사성을 동시에 고려하는 새로운 손실 함수인 POTrackerLoss를 통해 Qwen2.5-7B-Instruct를 미세 조정하였습니다.
AI 자동 생성 콘텐츠
본 콘텐츠는 arXiv cs.AI의 원문을 AI가 자동으로 요약·번역·분석한 것입니다. 원 저작권은 원저작자에게 있으며, 정확한 내용은 반드시 원문을 확인해 주세요.
원문 바로가기최근의 대규모 언어 모델 (LLMs)은 일반적인 텍스트 생성에는 능숙하지만, 출력이 엄격한 형식 및 구조적 규칙을 따라야 하기 때문에 도메인 특화 데이터 생성에 사용하는 것은 여전히 어렵습니다. 질의응답이나 번역과 같은 개방형 작업과 달리, 도메인 특화 생성은 의미론적으로 정확해야 할 뿐만 아니라 기존의 가이드라인 및 표준을 준수해야 합니다. 본 연구에서는 미국의 유틸리티 정전 보고서에 대한 전국적 상호 운용성 문제를 연구합니다. 실제로 정전 보고서는 기계 판독 가능해야 하며 (예: JSON 또는 XML), 에너지 분야 규제 기관의 요구 사항을 엄격히 따라야 합니다. 이 문제를 해결하기 위해, 우리는 정전 보고서 생성을 위해 최적화된 LLM인 POTracker를 제안합니다. 우리는 우리가 제안한 목적 함수를 사용하여 Qwen2.5-7B-Instruct를 미세 조정 (Fine-tuning) 합니다. 핵심 기여는 생성된 보고서와 정답 (Ground-truth) 보고서 사이의 텍스트 유사성과 구조적 (태그) 유사성을 모두 고려하는 새로운 손실 함수인 POTrackerLoss입니다. 우리는 1,000개의 정전 보고서 데이터셋에서 POTracker를 평가하고, 이를 다섯 가지 잘 알려진 미세 조정 방법 및 한 가지 규칙 기반 XML 변환 방법과 비교합니다. 결과에 따르면 POTracker는 다른 미세 조정 방식보다 성능이 뛰어나며, 전체 정확도를 최대 51% 향상시키고 생성된 정전 보고서에 대해 86.47%의 구조적 정확도에 도달했습니다. 또한, 우리는 정답 표준 보고서의 품질을 평가하기 위해 인간 대상 연구를 수행하였으며, 도메인 전문가들은 생성된 레이블에 대해 0~5점 척도 중 평균 4.03점을 부여했습니다.