토큰 예산 포화 및 Chain-of-Thought 모델의 추론 비수렴에 대한 기계론적 조기 탐지

요약

CoT 추론 모델의 토큰 예산 소진에 따른 수렴 및 비수렴 현상을 분석하고, 모델 내부의 은닉 상태 활성화를 통해 이를 조기에 탐지할 수 있음을 입증했습니다. 연구 결과, 사고 체인 초기의 중간 표현이 최종 수렴 여부를 예측하는 데 유효함을 확인했습니다.

핵심 포인트

• CoT 모델의 수렴 여부에 따른 성능 격차(90.3% vs 6.6%) 확인
• 토큰 50-300 구간의 은닉 상태로 수렴 여부 조기 탐지 가능
• 선형 프로브가 행동 기반 베이스라인보다 우수한 탐지 성능 기록
• 조기 종료 추론 및 적응형 연산 할당 연구의 가능성 제시