LLM-ReSum: 자기평가 기반 LLM 반성적 요약 프레임워크

대형 언어 모델 (LLM) 이 생성한 요약의 신뢰할 수 있는 평가는 여전히 해결되지 않은 과제로 남아 있으며, 특히 이질적인 도메인과 문서 길이 전반에 걸쳐 그렇습니다. 우리는 5 개 도메인의 7 개 데이터셋을 대상으로 14 가지 자동 요약 지표와 LLM 기반 평가자에 대해 포괄적인 메타 평가를 수행했습니다. 이 데이터셋에는 짧은 뉴스 기사부터 긴 과학적, 정부 및 법률 텍스트 (2K~27K 단어) 까지 다양한 문서가 포함되어 있으며, 총 1,500 개 이상의 인간이 주석 처리한 요약본을 포함하고 있습니다. 우리의 결과는 전통적인 어휘 중복 지표 (예: ROUGE, BLEU) 가 인간 판단과 약하거나 부정적인 상관관계를 보인 반면, 작업 특화 신경 지표와 LLM 기반 평가자는 훨씬 더 높은 정렬도를 달성했음을 보여줍니다. 특히 언어적 품질 평가에서 이러한 정렬도가 두드러집니다. 이 발견을 바탕으로 우리는 모델 미세 조정 (finetuning) 없이 폐쇄적 피드백 루프 내에서 LLM 기반 평가와 생성을 통합하는 자기 반성적 요약 프레임워크인 LLM-ReSum 을 제안합니다. 3 개 도메인을 대상으로 한 실험에서 LLM-ReSum 은 사실 정확도에서 최대 33%, 커버리지 (coverage) 에서 최대 39% 만큼 저품질 요약본을 개선시켰으며, 인간 평가자들은 정제된 요약본을 89% 의 경우 선호했습니다. 또한 법률 문서 요약에 대한 새로운 인간 주석 벤치마크인 PatentSumEval 을 소개합니다. 이 벤치마크에는 180 개의 전문가가 평가한 요약본이 포함되어 있습니다. 모든 코드와 데이터셋은 GitHub 에서 공개될 예정입니다.