자기 확증의 함정 탈출하기: 에이전트 경험 학습을 위한 Execute-Distill-Verify 패러다임

경험 기반의 자기 진화(self-evolution)는 대규모 언어 모델 (LLM) 에이전트가 오픈 월드 상호작용을 통해 개선되는 데 매우 중요합니다. 그러나 기존의 경험 학습 방법들은 대부분 단일 에이전트 루프에 의존하며, 여기서 동일한 에이전트가 작업을 실행하고, 결과를 요약하며, 메모리 내용을 결정합니다. 이러한 설정은 에이전트를 '자기 확증의 함정(Self-Confirmation Trap)'에 취약하게 만듭니다. 즉, 틀렸지만 자기 자신에게는 일관된 궤적(trajectories)이 성공적인 경험으로 오인되어, 검색 및 재사용 과정에서 누적된 오류를 초래하게 됩니다.

이 문제를 해결하기 위해, 우리는 신뢰할 수 있는 경험 학습을 위한 Execute-Distill-Verify (EDV) 프레임워크를 제안합니다. Execute (실행) 단계에서는 여러 개의 이질적인(heterogeneous) 에이전트들이 동일한 작업 공간을 병렬로 탐색하여 다양한 후보 궤적을 생성합니다. Distill (증류) 단계에서는 전용 제3자 에이전트가 이러한 궤적들을 비교 분석하여 후보 경험을 생성함으로써, 실행자 중심의 요약 편향(summarization bias)을 줄입니다. Verify (검증) 단계에서는 실행 그룹이 합의 메커니즘(consensus mechanism)을 통해 후보들을 검증하며, 승인된 경험만이 공유 또는 개인 메모리에 기록됩니다.

이 세 단계를 분리함으로써, EDV는 경험 학습을 고립된 자기 성찰에서 협력적 구축으로 전환하며, 메모리 삽입 전에 오류가 있거나 노이즈가 섞인 콘텐츠를 필터링합니다. 우리는 세 가지 도전적인 장기 목표(long-horizon) 벤치마크인 tau2-bench, Mind2Web, MMTB에서 EDV를 평가했습니다. 결과에 따르면 EDV는 강력한 베이스라인 모델들을 지속적으로 능가하며, 신뢰할 수 있는 경험 구축이 견고한 에이전트 자기 진화에 필수적임을 입증합니다. 우리의 코드는 https://github.com/shidingz/EDV 에서 확인할 수 있습니다.