에이전트 강화학습 (Agentic reinforcement learning)은 긴 추론 흔적 (reasoning traces)과 짧은 환경 대응 액션 (environment-facing actions)이 교차되는 다회차 궤적 (multi-turn trajectories)을 사용하여 대규모 언어 모델 (LLM)을 학습시킵니다. PPO 및 GRPO와 같은 일반적인 정책 경사 (policy-gradient) 방법들은 궤적 내의 각 토큰을 동일하게 취급하며, 이는 균등한 신용 할당 (credit assignment)으로 이어집니다. 본 논문에서 우리는 이러한 균등한 신용 할당이 토큰 수준의 학습 신호를 크게 잘못 할당한다는 점을 비판적으로 입증합니다. 에너지 기반 모델링 (energy-based modeling) 관점에서, 우리는 주어진 프롬프트로부터 샘플링된 서로 다른 롤아웃 (rollouts)의 보상 분산 (reward variance)과의 상관관계로 정량화된 토큰 수준 학습 신호가, 액션 토큰이 궤적에서 차지하는 비중이 매우 작음에도 불구하고 추론 토큰 (reasoning tokens)보다는 액션 토큰 (action tokens)에 급격히 집중된다는 것을 보여줍니다. 우리는 이 현상을 액션 병목 (Action Bottleneck)이라고 부릅니다. 이러한 관찰에 착안하여, 우리는 추론 토큰에 대한 그래디언트 (gradients)의 가중치를 낮추는 매우 단순한 토큰 재가중치 (token reweighting) 방식인 ActFocus를 제안하며, 이와 함께 불확실성 (uncertainty)이 더 높은 액션 토큰의 가중치를 더욱 높이는 추가적인 에너지 기반 재분배 메커니즘을 제안합니다. 4개의 환경과 다양한 모델 크기에 걸쳐, ActFocus는 추가적인 실행 시간이나 메모리 비용 없이 PPO 및 GRPO를 일관되게 능가하며, 각각 최대 65.2 및 63.7 퍼센트 포인트의 최종 단계 이득 (final-step gains)을 달성했습니다.