FOCUS: 장기 지평 언어 모델 에이전트를 위한 능동적인 비평가 학습(Active Critic Learning)

요약

장기 지평 언어 모델 에이전트의 학습 난제(희소 보상, 부정확한 가치 추정)를 해결하기 위해 FOCUS라는 RL 방법을 제안합니다. 이 방법은 선택적 분기를 통해 비평가 네트워크가 오차 감소에 초점을 맞춰 능동적으로 학습하도록 돕습니다. 실험 결과, 법적 추론 및 코드 지역화 등 복잡한 벤치마크에서 기존 모델 대비 우수한 성능을 입증했습니다.

핵심 포인트

• FOCUS는 능동 비평가 학습(Active Critic Learning) 기법을 활용합니다.
• 선택적 분기를 통해 가치 추정의 정확도를 높여 에이전트 학습을 지원합니다.
• 장기 지평 에이전트를 위한 모듈식 컨텍스트 관리 인터페이스를 제공합니다.
• 법적 추론, 심층 검색 등 복잡한 벤치마크에서 높은 성능 개선을 보였습니다.