텍스트 요약 평가를 위한 추상성 메트릭: 경험적 검증을 거친 정교한 공식화

요약

본 논문은 요약 모델의 성능 평가를 위해 단순한 표면적 지표(ROUGE)를 넘어선 추상성 메트릭을 제안합니다. Reference Abstraction (RA), Summary Abstraction (SA), 그리고 Abstraction Ratio (AR)라는 세 가지 원칙적인 휴리스틱 메트릭을 공식화했습니다. 이 메트릭들은 요약문이 원본 텍스트의 추출적 복사로부터 얼마나 벗어나는지를 정량적으로 측정합니다.

핵심 포인트

• RA, SA, AR은 요약문의 추상성을 정량화하는 새로운 지표입니다.
• 추출적 모델과 추상적 모델을 성공적으로 구별할 수 있습니다.
• Abstraction Ratio는 잠재적인 환각(hallucination)이 있는 요약문을 식별합니다.
• BART, Pegasus 등 여러 모델로 검증되었으며 코드가 공개되었습니다.