Insights
AI가 자동으로 큐레이션·번역·정리하는 기술 동향 피드입니다.
LLM 에이전트가 변화하는 사실을 반영하여 메모리를 업데이트하는 능력이 부족함을 진단하고, 이를 해결하기 위한 새로운 강화학습 환경인 Supersede를 제안합니다. 실험 결과, GRPO 미세 조정을 통해 소형 모델의 메모리 업데이트 정확도를 크게 향상시킬 수 있음을 입증했습니다.
AI 자동 생성 콘텐츠
본 콘텐츠는 arXiv cs.CL (NLP)의 원문을 AI가 자동으로 요약·번역·분석한 것입니다. 원 저작권은 원저작자에게 있으며, 정확한 내용은 반드시 원문을 확인해 주세요.
원문 바로가기대규모 언어 모델 (LLM) 에이전트는 사실 관계가 변하는(사용자가 이사를 가거나, 가격이 업데이트되거나, 계획이 수정되는 등) 길고 다중 세션인 상호작용을 통해 작동합니다. 올바르게 행동하기 위해서는 사실의 현재 값을 사용하고, 대체된 (superseded) 값들은 폐기해야 합니다. 우리는 실제 대화 데이터에서 이 능력을 분리하여 분석하였으며, 이것이 별개의 해결되지 않은 실패 요인임을 보여줍니다. LongMemEval의 지식 업데이트 (knowledge-update) 하위 집합에서, 에이전트의 전체 컨텍스트 (full context)를 제한된 자체 유지 메모리로 교체했을 때, 최첨단 모델 (gpt-5.4)에서도 정확도가 92%에서 77%로 떨어졌습니다. 이 격차는 통계적으로 유의미하며 (paired McNemar p<0.005), 전체 컨텍스트 정확도가 92% 근처에서 포화되는 반면 모델 규모에 관계없이 지속됩니다. 따라서 병목 현상은 이해력이 아니라 메모리 유지 (memory maintenance)이며, 더 강력한 모델을 사용한다고 해서 해결되지 않습니다. 우리는 이것이 단순히 메모리 크기가 작아서 발생하는 문제인지 질문하였으나, 그렇지 않음을 발견했습니다. 대화가 24배 길어짐에 따라 정확도는 더욱 하락하며 (68%에서 28%로), 에이전트에게 비례하여 더 많은 메모리를 부여해도 감지할 수 있는 회복은 나타나지 않았습니다 (28%에서 28%, n=25). 이 실패는 압축률이 아니라 대화의 길이에 따라 규모가 커집니다. 우리는 이 측정을 학습 신호로 전환하는 오픈 강화학습 (reinforcement-learning) 환경인 Supersede (verifiers / prime-rl 스택 기반)를 공개합니다. 이 환경에서 에이전트는 현재 값으로 답변하면 보상을 받고, 오래된 (stale) 값으로 답변하면 벌점을 받습니다. 마지막으로, 우리는 이 루프를 완성하여 이 격차가 학습 가능하다는 것을 보여줍니다. 이 환경에서 소형 오픈 모델 (Qwen2.5-3B)을 GRPO 미세 조정 (fine-tuning)한 결과, 실제 미학습 대화에 대한 홀드아웃 (held-out) 대체 정확도가 거의 두 배로 증가했습니다 (9.0%에서 16.7%, 단일 실행). 이는 단조로운 체크포인트 곡선을 따라 나타나며, 이는 이득이 테스트 환경이 아닌 학습된 정책 (policy)에 있음을 나타냅니다. 우리가 알기로 이는 보상이 시간적 사실의 최신성 (temporal fact-currency)을 목표로 하는 최초의 학습 가능한 환경이며, 대체 격차 (supersession gap)가 단순히 측정될 뿐만 아니라 학습을 통해 줄일 수 있다는 최초의 증거입니다.