CRoS: 무작위화된 CoT에 대한 인과성 보상(Causality Reward)이 정확도와 추론 충실도를 향상시킨다

요약

기존의 강화학습 기반 추론 훈련(RLVR)은 최종 결과에만 의존하여 CoT가 답변에 인과적으로 기여하는지 보장하기 어렵습니다. 본 논문은 콘텐츠는 유지하고 추론 단계 순서만 교란하는 새로운 지표 CRoS를 제안했습니다. Gemma-3-4B 모델 테스트 결과, CRoS는 정확도와 CoT 품질 및 충실도 측면에서 기존 방식보다 우수한 성능을 입증했습니다.

핵심 포인트

• 기존 RLVR은 최종 결과에만 의존하여 CoT의 인과성 평가에 한계가 있습니다.
• CRoS는 콘텐츠를 변경하지 않고 추론 단계 순서만 교란하는 새로운 지표입니다.
• Gemma-3-4B 테스트에서 5개 논리/게임 데이터셋에서 46.8%의 정확도를 달성했습니다.
• CoT 품질 및 충실도 측면에서도 기존 기준선 대비 우수한 성능을 보였습니다.