LLM 기반 에이전트에서 CoT 학습의 이점은 어디에 있는가?

Chain-of-thought (CoT, 사고의 사슬) 추론은 언어 모델 에이전트에서 널리 사용되지만, 이전 연구들은 언어화된 CoT가 항상 충실(faithful)하지 않으며 대신 사후 추론(post-hoc reasoning)을 반영할 수 있음을 보여주었습니다. 이는 모델이 추론하기 전에 이미 정답을 알고 있음을 의미합니다. 따라서 우리는 CoT 학습이 실제로 무엇을 개선하는지 질문합니다: 모델이 생성된 추론을 통해 자신의 행동(action)을 변경하는 능력이 향상되는 것인가, 아니면 프롬프트(prompt)로부터 행동을 직접 예측하는 능력이 향상되는 것인가? 우리는 extit{프롬프트 행동 (prompt actions)} (CoT 없이 행동을 예측)과 CoT 행동 (CoT와 함께 행동을 예측)을 비교함으로써 이 질문을 연구합니다. 체크포인트(checkpoints) 전반에 걸쳐 프롬프트 행동의 품질은 상당히 향상됩니다. 환경과 상호작용하는 동안, 프롬프트 행동 대비 CoT 행동의 상대적 이점은 유사하게 유지되며, 이는 CoT 학습이 CoT 추론의 이점을 확대하는 것이 아니라 프롬프트 행동의 품질을 개선하는 데 도움을 준다는 것을 보여줍니다. 우리는 더 나아가 후기 체크포인트일수록 CoT에 대응하여 행동을 수정할 가능성이 낮아진다는 것을 발견했으며, 이는 프롬프트에 대한 의존도가 더 높아짐을 시사합니다. 이러한 패턴에 착안하여, 우리는 학습 예시의 일부에 대해 행동 토큰(action-token) 감독을 선택적으로 마스킹(masking)합니다. 이러한 개입은 도메인 외 일반화(out-of-domain generalization)를 향상시킵니다.