우리는 메모리 검색(Papr)을 사용하여 모든 500개의 LongMemEval-S 질문에 대해 공식 답변 프롬프트와 수정되지 않은 gpt-4o-2024-08-06 심사관으로 실행했습니다. 질문별 답변과 심사관 레이블은 공개되어 있으므로, 공식 메트릭 스크립트를 사용하면 해당 수치를 재현할 수 있습니다.
결과:
비교를 위해 Chronos는 전체 컨텍스트와 다중 턴 에이전트를 사용하여 95.6%를 보고했고, Hindsight는 질문당 43.6k 토큰에서(다른 심사관 사용) 94.6%를 보고했으며, gbrain은 90.6%를 보고했습니다.
제가 유용하다고 생각한 점:
검색 재현율(Retrieval recall)은 포화 상태에 가깝습니다. 답변 가능한 질문 470개 중 460개에서 모든 증거 세션이 상위 5개 안에 포함되었습니다(97.9%). 나머지 대부분의 오류는 검색 문제가 아니라 독해 문제입니다.
상위 20개 대 상위 5개는 자유로운 승리가 아닌 트레이드오프입니다: 11개가 얻고, 8개를 잃어 순증가분은 +3입니다. 시간적 추론(Temporal reasoning)은 123개에서 133개의 130개로 증가했습니다. 포기(Abstention)는 변동이 없었습니다(둘 다 30개 중 27개). 작은 독해 능력이 대부분의 성과를 이끌어냅니다: gpt-5-mini는 동일한 검색에서 94.4%에 도달합니다.
주의사항:
Papr-Embed 0.6B 임베딩 모델(오픈 소스 및 오픈 웨이트), gemini flash 2.5 리랭커(Jev도 테스트함), 그리고 단일 턴 답변 모델을 사용했습니다. 자체 보고된 수치입니다. 실행 간 편차는 약 ±3개 질문이므로, 96.0% 대 95.6%는 동률이지만, 이번 실행은 토큰 효율성에 최적화되었습니다. 상위 5개의 누락 사항을 검토한 후 상위 20개를 선택했으므로, 96.0%를 이 세트에 맞춰 조정된 수치로 간주해 주십시오. 검색이나 답변에 질문 유형 레이블은 사용되지 않았습니다.
차트가 포함된 상세 보고서: https://www.papr.ai/blog/papr-longmemeval-96
결과 및 코드: https://github.com/Papr-ai/papr-longmemeval (제출자: /u/remoteinspace) [링크] [댓글]