정적인 대화를 넘어: 현실적이고 이질적이며 진화하는 장기 기억 벤치마킹

기존의 대규모 언어 모델 (LLMs) 메모리 벤치마크에서는 평가되는 대화 세션이 장기적인 의미적 일관성 (semantic consistency)이 부족한 경우가 많으며, 기저에 깔린 페르소나 (personas) 또한 평면적이고 정적인 경향이 있습니다. 또한, 실제 시나리오에서 사용자와 어시스턴트 간의 상호작용은 문서나 이메일과 같이 더 다양하고 이질적인 (heterogeneous) 데이터 스트림을 포함합니다. 이러한 단점들은 현재 평가 방식의 현실성과 효과성을 크게 제한합니다. 이러한 한계를 해결하기 위해, 우리는 RHELM (Realistic, Heterogeneous, and Evolving Long-term Memory)을 소개합니다. 세심하게 설계된 사용자 프로필과 새로운 LOOP (pLan-rOllout-evOlve-Prune) 모듈을 기반으로, 우리는 동적인 시간적 진화와 장기적 일관성을 보여주는 다양한 상호작용 시나리오에 걸친 현실적인 대화들을 구축합니다. 결정적으로, 이러한 대화들은 사용자의 시간적 이벤트 궤적과 동기화된 이질적인 외부 소스들과 깊게 통합되어 있습니다. 결과적으로 생성된 벤치마크는 7가지 질의 유형에 걸친 도전적인 질의응답 쌍을 포함하며, 각 질문은 우리가 현재 연구에서 필수적이지만 충분히 탐구되지 않았다고 식별한 27가지 핵심 메모리 특성 중 적어도 하나에 매핑됩니다. 전체 컨텍스트 모델 (full-context models), 검색 증강 생성 (RAG) 방법, 그리고 대표적인 메모리 프레임워크 전반에 걸친 종합적인 실험을 통해, 현대의 접근 방식들이 복잡한 실제 환경, 특히 다중 소스 집계 (multi-source aggregation) 및 실제 맥락 추론 (real-world contextual reasoning)을 해결하는 데 있어 여전히 치명적인 약점을 드러낸다는 것을 밝혀냈습니다.