액션 병목 현상 해결: 토큰 수준 에너지에 기반한 에이전트 강화학습 (Agentic Reinforcement Learning)

요약

본 논문은 에이전트 강화학습 과정에서 발생하는 '액션 병목(Action Bottleneck)' 현상을 다룹니다. 기존 정책 경사 방법들이 궤적 내 모든 토큰에 균등한 신용 할당을 하는 것이 오히려 비효율적임을 지적하며, 실제 학습 신호가 추론 토큰보다 환경 대응 액션 토큰에 집중됨을 보여줍니다. 이를 해결하기 위해, 본 연구는 ActFocus라는 단순한 토큰 재가중치 기법과 에너지 기반의 추가적인 가중치 재분배 메커니즘을 제안합니다.

핵심 포인트

• 기존 정책 경사 방법(PPO, GRPO)은 궤적 내 모든 토큰에 균등하게 신용 할당하는 문제가 있습니다.
• 실제 학습 신호는 액션 토큰에 집중되는 '액션 병목' 현상이 발생하며, 이는 기존 방식의 비효율성을 야기합니다.
• ActFocus는 추론 토큰에 대한 그래디언트 가중치를 낮추고 액션 토큰의 가중치를 높이는 단순한 토큰 재가중치 기법입니다.
• 제안된 ActFocus 및 에너지 기반 메커니즘은 추가 비용 없이 기존 방법 대비 높은 최종 단계 이득을 달성했습니다.