생성된 요약문의 추상성을 정량화하는 것은 ROUGE와 같은 표면적인 수준의 지표를 넘어 요약 모델을 평가하는 데 필수적입니다. 우리는 Reference Abstraction (RA), Summary Abstraction (SA), 그리고 Abstraction Ratio (AR)를 소개합니다. 이는 요약문이 원본 텍스트의 추출적 복사(extractive copying)로부터 얼마나 벗어나는지를 측정하는 일련의 원칙적인 휴리스틱 메트릭입니다. 이 공식화는 문서 길이의 조화 평균을 세제곱 비중복 계수(cubic non-overlap factor)로 변조하여, 차원적으로 일관되고 경계가 정해진 출력값을 산출하며 추출적-추상적 경계에 대해 비선형적인 민감도를 가집니다. 네 가지 요약 모델(BART-large-cnn, Pegasus-xsum, DistilBart, MT5-small)을 사용하여 100개의 XSUM 문서에 대한 평가 결과는 이 메트릭들이 추출적 모델(SA ~ 0.12-0.26)과 추상적 모델(SA ~ 0.96-1.77)을 성공적으로 구별하며, Abstraction Ratio가 잠재적인 환각(hallucination)이 있는 요약문을 수동 평가해야 함을 식별함을 보여줍니다. 코드와 결과는 https://github.com/katweNLP/AbstractionStudy에서 확인할 수 있습니다.