KEEP-Bench: 컨텍스트 압축의 증거 보존 능력 평가

요약

본 논문은 컨텍스트 압축이 야기할 수 있는 '충실도' 문제를 진단하기 위해 KEEP-Bench라는 새로운 벤치마크를 제안합니다. 이 벤치마크는 개연성 참고 해결책 등 까다로운 설정을 통해 증거 보존 능력을 직접 평가하며, 최신 모델들도 높은 토큰 길이에서 필요한 증거를 완벽하게 보존하지 못함을 보여줍니다.

핵심 포인트

• KEEP-Bench: 컨텍스트 압축의 충실도(faithfulness) 측정 벤치마크 제시
• 최고 성능 모델도 긴 컨텍스트에서 증거 보존에 어려움 발견 (오픈/독점 모델 모두)
• Evidence Preservation Return (EPR) 메트릭 도입 및 분석 결과 공유
• 미래 연구는 대규모 확장보다 작은 계산 예산 하의 정보 보존 능력 강화 필요