POTracker: 표준 준수 정전 보고서 생성을 위한 대규모 언어 모델 (LLM) 최적화

최근의 대규모 언어 모델 (LLMs)은 일반적인 텍스트 생성에는 능숙하지만, 출력이 엄격한 형식 및 구조적 규칙을 따라야 하기 때문에 도메인 특화 데이터 생성에 사용하는 것은 여전히 어렵습니다. 질의응답이나 번역과 같은 개방형 작업과 달리, 도메인 특화 생성은 의미론적으로 정확해야 할 뿐만 아니라 기존의 가이드라인 및 표준을 준수해야 합니다. 본 연구에서는 미국의 유틸리티 정전 보고서에 대한 전국적 상호 운용성 문제를 연구합니다. 실제로 정전 보고서는 기계 판독 가능해야 하며 (예: JSON 또는 XML), 에너지 분야 규제 기관의 요구 사항을 엄격히 따라야 합니다. 이 문제를 해결하기 위해, 우리는 정전 보고서 생성을 위해 최적화된 LLM인 POTracker를 제안합니다. 우리는 우리가 제안한 목적 함수를 사용하여 Qwen2.5-7B-Instruct를 미세 조정 (Fine-tuning) 합니다. 핵심 기여는 생성된 보고서와 정답 (Ground-truth) 보고서 사이의 텍스트 유사성과 구조적 (태그) 유사성을 모두 고려하는 새로운 손실 함수인 POTrackerLoss입니다. 우리는 1,000개의 정전 보고서 데이터셋에서 POTracker를 평가하고, 이를 다섯 가지 잘 알려진 미세 조정 방법 및 한 가지 규칙 기반 XML 변환 방법과 비교합니다. 결과에 따르면 POTracker는 다른 미세 조정 방식보다 성능이 뛰어나며, 전체 정확도를 최대 51% 향상시키고 생성된 정전 보고서에 대해 86.47%의 구조적 정확도에 도달했습니다. 또한, 우리는 정답 표준 보고서의 품질을 평가하기 위해 인간 대상 연구를 수행하였으며, 도메인 전문가들은 생성된 레이블에 대해 0~5점 척도 중 평균 4.03점을 부여했습니다.