Chain-of-Thought 추론의 엔트로피 역학 규명

본 논문은 Chain-of-Thought (CoT)의 엔트로피 역학 (entropy dynamics)을 조사하여, 탐색의 불확실성 영역 (Uncertainty Region)에서 수렴의 신뢰 영역 (Confidence Region)으로 급격히 전환되는 일관된 2단계 구조를 밝혀냅니다. 우리는 신뢰 영역 (Confidence Region)이 두 가지 중요한 특성을 가지고 있음을 입증합니다: 1) 높은 신뢰성 (High Reliability) -- 신뢰 영역에서의 답변은 매우 정확하고 안정적으로 변하며, 2) 높은 중복성 (High Redundancy) -- 모델은 정답에 도달한 후에도 한참 동안 불필요한 토큰을 생성합니다. 이러한 특성들은 더 효율적이고 신뢰할 수 있는 추론 전략을 가능하게 합니다: 1) 조기 종료 (Early Exit)는 신뢰성과 중복성을 활용하여 반환값이 감소할 때 계산을 안전하게 종료하며, 2) 테스트 시간 스케일링 (Test-Time Scaling)은 신뢰 영역 (Confidence Region) 신호를 사용하여 수렴된 궤적 (trajectories)에 우선순위를 둡니다. 이러한 통찰을 실행에 옮기기 위해, 우리는 신뢰 영역 (Confidence Region) 탐지를 순차적 변화점 탐지 (sequential change-point detection) 문제로 공식화하였으며, 이는 CoT 추론을 모니터링하기 위해 고전적인 변화점 (change-point) 방법을 적용한 첫 번째 사례입니다. 통계적으로 최적의 변화점 탐지기인 누적 합 (CUSUM, Cumulative Sum) 알고리즘을 사용하여, 우리는 실시간 추론 제어를 위한 학습이 필요 없는 (training-free) 프레임워크를 개발했습니다. 실험 결과, 우리의 접근 방식이 조기 종료 (early exit)를 위한 우수한 파레토 프런티어 (Pareto-frontier)를 구축함을 보여줍니다. CUSUM은 11.1%의 토큰 감소와 함께 63.06%의 정확도를 달성하였으며, 이는 DEER 및 Dynasor보다 정확도 측면에서 각각 3.28%와 4.36% 더 높은 성능을 보였습니다. 테스트 시간 스케일링 (test-time scaling)의 경우, CUSUM 가중 투표 (CUSUM-weighted voting)가 자기 일관성 (self-consistency)보다 일관되게 우수한 성능을 나타냈습니다.