에이전트의 대화 기록을 평면적인 RAG 청크 (RAG chunks) 대신 토픽 트리 (주제 트리: 가지 + 요약) 형태로 구성하는 TRACE라는 메모리 시스템을 구축하였으며, 이를 MemoryAgentBench (ICLR 2026)의 특히 EventQA 정확한 검색 (accurate-retrieval) 태스크에서 벤치마킹했습니다.

이는 PyPI 패키지입니다:
pip install trace-memory

결과 (F1):
• TRACE (gpt-oss-20B): 82.5%
• TRACE (gpt-oss-120B): 83.8%
• Mem0 (GPT-4o-mini, 논문의 공식 수치): 37.5%
• MemGPT/Letta (GPT-4o-mini, 논문의 공식 수치): 26.2%

gpt-oss를 로컬에서 실행했으므로, 이는 GPT-4o-mini를 사용하는 MemGPT/Mem0와 비교했을 때 오픈 웨이트 (open-weights) 모델을 대상으로 한 테스트이며, 동일한 백본 (backbone)을 사용한 직접적인 비교 테스트(apples-to-apples)는 아닙니다 (OpenAI 토큰을 구매할 비용이 없습니다).

공정성을 위해 Mem0를 gpt-oss-20B에서 직접 실행하려고 시도했으나, Mem0의 사실 추출 (fact-extraction) 단계는 엄격한 JSON 출력을 필요로 하며 gpt-oss의 응답이 깔끔하게 파싱되지 않았습니다 (이는 gpt-oss에 국한된 것이 아닌 알려진 문제이며, Gemini/Mistral에서도 동일한 버그가 나타납니다). Letta는 전체 서버 설정이 필요하여 생략했습니다.

방법론을 직접 자세히 살펴보고 싶다면 두 실행 모두에 대한 전체 JSON 로그가 리포지토리(repo)에 있습니다. GitHub: https://github.com/husain34/TRACE
/u/PsychologicalDot7749 님이 r/MachineLearning 에 게시함
[link] [comments]