메모리 벤치마크 점수 믿어도 되나

요약

에이전트 기억력 벤치마크(LoCoMo, LongMemEval 등)의 점수 신뢰성에 의문을 제기합니다. 같은 제품이라도 측정 주체나 채점 방식에 따라 점수가 크게 변동하며, 심지어 정답 데이터 자체에도 오류가 발견되었습니다.

핵심 포인트

• 벤치마크 점수는 측정 주체와 환경에 따라 큰 편차를 보입니다.
• LoCoMo 같은 벤치마크의 정답 데이터에 오류나 모호성이 존재합니다.
• 채점 프롬프트 변경만으로도 평가 점수가 크게 변동될 수 있습니다.
• 단순 점수 비교보다 채점 방식과 정답 데이터를 확인하는 것이 중요합니다.