언어 에이전트를 위한 행동 및 예측의 공동 진화

요약

이 논문은 언어 에이전트 훈련의 병목 현상을 해결하기 위해 'ame'라는 새로운 다단계 행동 타겟을 제안합니다. ame는 정책 백본이 히스토리 기반의 행동 시퀀스를 생성하도록 훈련하며, 각 행동은 이전 히스토리로부터 예측되어 시간적 앙상블을 형성합니다. 이로써 행동과 예측이 공동 진화하여 기존 RL 기법보다 높은 성능과 샘플 효율성을 달성했습니다.

핵심 포인트

• ame는 다단계 행동 타겟으로, 언어 에이전트의 학습 한계를 극복합니다.
• 행동 시퀀스를 생성하고 이전 히스토리로부터 각 행동을 예측하며 공동 진화를 유도합니다.
• 다섯 가지 벤치마크에서 기존 RL 기법 대비 높은 종합 성능과 샘플 효율성을 입증했습니다.
• 추가 오버헤드 없이 단일 정책 백본으로 강력한 성능 향상을 달성했습니다.