필요할 때만 질문하기: 경험 기반의 기억 및 기술을 활용한 능동적 검색 (Proactive Retrieval from Memory and Skills for Experience-Driven Lifelong Agents)

요약

기존의 온라인 평생 학습(Online lifelong learning) 에이전트들은 과거 경험을 수동적으로 활용하여, 특정 시점(예: 태스크 초기화 또는 스텝 완료 후)에만 지식을 검색하는 한계가 있었습니다. 본 논문은 이러한 문제를 해결하기 위해 'ProactAgent'라는 새로운 프레임워크를 제안합니다. ProactAgent는 구조화된 경험 기반에서 능동적으로 정보를 검색하며, 특히 'Proactive Reinforcement Learning-based Retrieval (ProactRL)'을 도입하여 검색 자체를 명시적인 정책

핵심 포인트

• ProactAgent는 경험 기반의 온라인 평생 학습 프레임워크로, 과거 지식 활용의 수동적 한계를 극복합니다.
• Experience-Enhanced Online Evolution (ExpOnEvo)를 통해 정책 업데이트와 메모리 정제(memory refinement)를 동시에 수행하며 지속적인 개선을 가능하게 합니다.
• ProactRL은 검색 과정을 명시적인 정책 액션으로 모델링하고, 쌍방향 보상(paired-branch process rewards)을 사용하여 필요한 순간에만 검색하도록 학습합니다.
• SciWorld와 AlfWorld 실험에서 ProactAgent는 각각 73.50% 및 71.28%의 성공률을 달성하며, 기존 방식 대비 높은 성능과 효율성을 입증했습니다.