장기적 관점의 LLM 에이전트를 위한 선택적 메모리 유지 (Selective Memory Retention for Long-Horizon

메모리 증강 (memory-augmented) LLM 에이전트에게 메모리 유지가 중요한 시점은 언제일까요? 우리는 TraceRetain을 통해 이를 연구합니다. TraceRetain은 동결된 (frozen) LLM 에이전트를 위한 제한된 외부 메모리 (bounded external memory)용 경량 프레임워크로, 해석 가능한 특징들(성공 여부, 연령, 접근 빈도, 중복성, 구체성, 유사성, 다운스트림 유용성)을 기준으로 항목의 점수를 매기고, 용량이 가득 차면 점수가 가장 낮은 항목을 제거(evict)합니다. gpt-5-mini를 사용한 깨끗한(clean) ALFWorld 환경에서는 두 개의 시드(seed) 모두에서 외부 메모리가 메모리가 없는 경우보다 견고하게 성능을 향상시켰으나, 제한된 유지 정책(bounded retention policies) 간의 차이는 Wilson 95% 신뢰 구간(CIs) 내에 있었습니다. 즉, T=100에서 T=200 사이의 깨끗한 ALFWorld는 메모리 오염(memory pollution) 현상을 자연적으로 나타내지 않으며, 이는 메모리 유지가 해결하고자 하는 핵심 문제입니다. 통제된 노이즈 쓰기 스트레스(75%의 합성 방해 요소) 환경에서는, 무제한 메모리(unbounded memory)와 FIFO-K50 방식의 Precision@5 성능이 급격히 저하(20.2%에서 12.4%로, 그리고 15.8%에서 3.8%로)되는 반면, TraceRetain-CEM은 거의 변화가 없으며(16.9%에서 16.6%) 100개 중 97개의 작업 성공률을 유지합니다. 그 메커니즘은 다음과 같습니다: 무제한 메모리는 가장 높은 평균 유사도(0.87)를 보이지만 가장 낮은 정밀도(precision)를 기록하는데, 이는 임베딩 공간(embedding space)에서 쿼리와 유사하지만 실패한 방해 요소들이 존재함을 나타냅니다. 홀드아웃 분포 내(in-distribution) 평가 결과, 메모리 증강 정책은 50개의 작업 중 47~49개를 해결한 반면, 메모리가 없는 경우는 50개 중 39개를 해결했습니다. 제한된 유지(Bounded retention)는 포화된 깨끗한 벤치마크에서 작업 성공률의 손실 없이 메모리 및 단계 효율성(step efficiency)을 확보하며, 데이터 스트림에 노이즈가 포함된 경우에만 캐시 휴리스틱(cache heuristics)과 차별화된 성능을 보여줍니다.