Insights
AI가 자동으로 큐레이션·번역·정리하는 기술 동향 피드입니다.
기존의 정적인 메모리 재생 방식 대신, 현재 컨텍스트에 맞춰 과거 경험을 재구성하는 LLM 에이전트 프레임워크 MemHarness를 제안합니다. GRPO를 통한 엔드 투 엔드 학습으로 부정적 전이를 방지하고 추론 능력을 향상시킵니다.
AI 자동 생성 콘텐츠
본 콘텐츠는 arXiv cs.AI의 원문을 AI가 자동으로 요약·번역·분석한 것입니다. 원 저작권은 원저작자에게 있으며, 정확한 내용은 반드시 원문을 확인해 주세요.
원문 바로가기과거의 경험을 검색하는 것은 대규모 언어 모델 (LLM) 에이전트를 강화하기 위한 일반적인 전략이 되었습니다. 그러나 기존의 대부분의 메모리 증강 (memory-augmented) 에이전트들은 검색된 경험을 있는 그대로 재생해야 하는 정적인 기록으로 취급하며, 해당 경험이 에이전트의 현재 상황과 일치하는지 여부와 관계없이 컨텍스트 (context)에 주입합니다. 이러한 "재생 (replay)" 패러다임은 저장된 경험의 추상적이고 일반적인 성격과 의사 결정 시점에 마주하는 구체적이고 끊임없이 변화하는 상태 사이의 간극을 무시하며, 이는 빈번하게 부정적 전이 (negative transfer)를 유발합니다. 이와 대조적으로, 인간은 과거의 경험을 있는 그대로 회상하는 경우가 드뭅니다. 대신, 현재의 컨텍스트에 맞게 검색된 기억을 재구성하고 적응시킵니다. 이에 영감을 받아, 우리는 LLM 에이전트가 현재 컨텍스트를 기반으로 과거의 경험을 능동적으로 활용하고 재구성할 수 있도록 하는 프레임워크인 MemHarness를 제안합니다. 각 의사 결정 단계에서, 통합된 정책 모델 (policy model)은 현재 상태를 조건으로 검색된 경험을 비판하고 재구성하여, 행동하기 전에 컨텍스트에 기반한 가이던스 (guidance)를 생성합니다. 이러한 재구성 능력은 GRPO를 통한 엔드 투 엔드 (end-to-end) 학습을 통해 자연스럽게 나타납니다. ALFWorld 및 WebShop에서의 실험 결과, MemHarness는 순수 강화학습 (RL) 및 정적 메모리 증강 베이스라인 (baselines)보다 실질적으로 뛰어난 성능을 보였으며, 분포 외 (OOD, out-of-distribution) 시나리오에서 강력한 견고성을 입증했습니다. 나아가, 우리의 분석은 이러한 재구성 목적 함수가 부정적 전이를 방지할 뿐만 아니라 학습 과정에서 잠재적인 가이던스 역할을 수행하여, 에이전트의 내재적인 추론 능력을 근본적으로 향상시킨다는 것을 보여줍니다.