State2State: LLM 에이전트를 위한 환경 유도형 중간 학습 (Environment-Derived Mid-Training)

요약

State2State는 외부의 감독 없이 환경과의 상호작용만으로 LLM 에이전트의 능력을 학습시키는 새로운 중간 학습 방법론을 제안합니다. 환경 상태를 목표 상태로 변환하여 스스로 도전 과제를 생성함으로써 학습의 확장성과 일반화 성능을 높입니다.

핵심 포인트

• 전문가 궤적이나 수동 작업 설계 없이 환경 상호작용만으로 학습 가능
• 환경 탐색을 통해 스스로 학습 목표를 도출하는 State2State 방법론 제안
• ALFWorld 및 ScienceWorld 실험을 통해 에이전트 성능 향상 입증
• 다운스트림 강화 학습의 초기화 단계로 활용 시 학습 효율 극대화