정밀도는 충실도가 아니다: 완전한 오라클(Oracle)을 통한 근거 기반 생성의 커버리지 인식 평가

요약

기존의 참조 없는 충실도 지표가 정밀도(Precision)에만 치중되어 모델의 절제(Abstention) 현상을 보상하는 문제를 지적합니다. F1 레이스 및 기상 예보 데이터를 활용해 재현율(Recall)을 포함한 커버리지 인식 평가의 필요성을 입증하고 새로운 지표를 제안합니다.

핵심 포인트

• 기존 충실도 지표는 정밀도만 측정하여 모델의 과도한 절제를 방지하지 못함
• F1 레이스 데이터를 통해 정밀도와 재현율을 동시에 측정하는 벤치마크 구축
• 최첨단 모델들도 관련 사실의 절반 미만만 커버하는 낮은 재현율을 보임
• 충실도와 커버리지를 결합한 단일 점수 지표 및 검증기 가이드 생성법 제안