R^2-Mem: 메모리 검색을 위한 성찰적 경험 (Reflective Experience for Memory Search)

요약

R^2-Mem은 메모리 검색 시스템의 성능 향상을 위해 성찰적 경험 프레임워크를 제안합니다. 이 프레임워크는 오프라인 단계에서 Rubric-guided Evaluator가 과거 궤적을 평가하고, Self-Reflection Learner가 이를 바탕으로 추상적인 경험을 증류하여 학습합니다. 온라인 추론 단계에서는 이러한 성찰된 경험이 검색 행동을 안내함으로써 에이전트가 오류를 반복하지 않고 고품질의 결과를 유지하도록 합니다.

핵심 포인트

• R^2-Mem은 메모리 검색 시스템에 적용되는 새로운 성찰적 경험 프레임워크입니다.
• 오프라인 단계에서 Rubric-guided Evaluator와 Self-Reflection Learner를 사용하여 과거 궤적을 평가하고 추상적인 경험을 증류합니다.
• 온라인 추론 시, R^2-Mem은 검색된 경험을 활용하여 에이전트의 행동을 안내함으로써 오류 반복을 방지합니다.
• 실험 결과, R^2-Mem은 F1 점수를 최대 22.6% 향상시키고 토큰 소비 및 검색 반복 횟수를 감소시키는 효율성을 입증했습니다.
• R^2-Mem은 강화학습(RL)이 필요 없는 저비용의 자기 개선형 LLM 에이전트 솔루션을 제공합니다.