MemRefine: 장기 에이전트 메모리를 위한 LLM 기반 압축 기법

대규모 언어 모델(LLM) 에이전트는 과거 대화의 정보가 미래 작업을 지원하기 위해 보존되고 회상되어야 하는 장기간 상호작용을 수행하도록 요구받고 있습니다. 그러나 상호작용이 축적됨에 따라 메모리 저장소는 무한히 커지고, 중복된 항목들로 가득 차서 저장 비용을 증가시키고 가장 유용한 증거들을 밀어내 검색 성능을 저하시킵니다. 더욱이 이는 하드웨어 메모리 예산과 같은 제약이 있는 플랫폼에서 특히 제한적이며, 저희에게는 이미 구축된 메모리 저장소를 고정된 예산 내에 유지하면서 미래 상호작용에 유용한 정보를 보존하는 '저장 예산 기반 메모리 관리'를 공식화하도록 동기를 부여했습니다. 이를 위해, 우리는 MemRefine을 제안합니다. 이는 표면적 유사성(surface similarity)이 사실적 가치(factual value)를 제대로 반영하지 못한다는 점에 착안하여, 유사성은 단지 후보 쌍을 제안하는 데만 사용하고, 삭제(delete), 병합(merge), 보존(preserve) 결정은 사실적 내용을 기반으로 하는 LLM 심사위원(LLM judge)에게 맡기며, 예산이 충족될 때까지 반복합니다. 여러 메모리 프레임워크와 장기 대화 벤치마크 전반에 걸쳐, MemRefine은 목표 예산을 일관되게 충족시키면서 다운스트림 성능을 보존하고, 빠듯한 예산 조건 하에서 규칙 기반 기준 모델(rule-based baselines)보다 우수한 성능을 보였습니다.