LLM-ReSum: 자기평가 기반 LLM 반성적 요약 프레임워크

요약

LLM의 생성 요약에 대한 신뢰성 있는 평가는 여전히 어려운 과제이며, 본 논문은 이를 해결하기 위해 자기평가 기반의 반성적 요약 프레임워크인 LLM-ReSum을 제안합니다. 광범위한 메타 평가 결과, 전통적인 지표(ROUGE 등)보다 작업 특화 신경 지표와 LLM 기반 평가자가 인간 판단과 더 높은 상관관계를 보였습니다. LLM-ReSum은 폐쇄적 피드백 루프 내에서 생성과 평가를 통합하여 사실 정확도 및 커버리지 측면에서 저품질 요약본을 크게 개선하는 성능을 입증했습니다.

핵심 포인트

• 전통적인 자동 요약 지표(ROUGE, BLEU)는 인간의 판단과 낮은 상관관계를 보였다.
• 작업 특화 신경 지표와 LLM 기반 평가자가 언어적 품질 및 사실 정확도 평가에서 우수함을 입증했다.
• LLM-ReSum은 모델 미세 조정 없이 생성과 평가를 통합하는 자기 반성적 요약 프레임워크이다.
• LLM-ReSum을 적용한 실험에서 저품질 요약본의 사실 정확도와 커버리지를 크게 개선시켰다.
• 법률 문서 요약을 위한 새로운 전문가 주석 벤치마크인 PatentSumEval을 소개했다.