Supersede: LLM 에이전트의 메모리 업데이트 격차 진단 및 학습

대규모 언어 모델 (LLM) 에이전트는 사실 관계가 변하는(사용자가 이사를 가거나, 가격이 업데이트되거나, 계획이 수정되는 등) 길고 다중 세션인 상호작용을 통해 작동합니다. 올바르게 행동하기 위해서는 사실의 현재 값을 사용하고, 대체된 (superseded) 값들은 폐기해야 합니다. 우리는 실제 대화 데이터에서 이 능력을 분리하여 분석하였으며, 이것이 별개의 해결되지 않은 실패 요인임을 보여줍니다. LongMemEval의 지식 업데이트 (knowledge-update) 하위 집합에서, 에이전트의 전체 컨텍스트 (full context)를 제한된 자체 유지 메모리로 교체했을 때, 최첨단 모델 (gpt-5.4)에서도 정확도가 92%에서 77%로 떨어졌습니다. 이 격차는 통계적으로 유의미하며 (paired McNemar p<0.005), 전체 컨텍스트 정확도가 92% 근처에서 포화되는 반면 모델 규모에 관계없이 지속됩니다. 따라서 병목 현상은 이해력이 아니라 메모리 유지 (memory maintenance)이며, 더 강력한 모델을 사용한다고 해서 해결되지 않습니다. 우리는 이것이 단순히 메모리 크기가 작아서 발생하는 문제인지 질문하였으나, 그렇지 않음을 발견했습니다. 대화가 24배 길어짐에 따라 정확도는 더욱 하락하며 (68%에서 28%로), 에이전트에게 비례하여 더 많은 메모리를 부여해도 감지할 수 있는 회복은 나타나지 않았습니다 (28%에서 28%, n=25). 이 실패는 압축률이 아니라 대화의 길이에 따라 규모가 커집니다. 우리는 이 측정을 학습 신호로 전환하는 오픈 강화학습 (reinforcement-learning) 환경인 Supersede (verifiers / prime-rl 스택 기반)를 공개합니다. 이 환경에서 에이전트는 현재 값으로 답변하면 보상을 받고, 오래된 (stale) 값으로 답변하면 벌점을 받습니다. 마지막으로, 우리는 이 루프를 완성하여 이 격차가 학습 가능하다는 것을 보여줍니다. 이 환경에서 소형 오픈 모델 (Qwen2.5-3B)을 GRPO 미세 조정 (fine-tuning)한 결과, 실제 미학습 대화에 대한 홀드아웃 (held-out) 대체 정확도가 거의 두 배로 증가했습니다 (9.0%에서 16.7%, 단일 실행). 이는 단조로운 체크포인트 곡선을 따라 나타나며, 이는 이득이 테스트 환경이 아닌 학습된 정책 (policy)에 있음을 나타냅니다. 우리가 알기로 이는 보상이 시간적 사실의 최신성 (temporal fact-currency)을 목표로 하는 최초의 학습 가능한 환경이며, 대체 격차 (supersession gap)가 단순히 측정될 뿐만 아니라 학습을 통해 줄일 수 있다는 최초의 증거입니다.