커밋먼트 경계를 넘어서: 대규모 추론 모델의 에피페노메날 체인-오브-쏘트 탐색

체인-오브-쏘트 (CoT) 추론은 언어 모델에서 추론 시간 스케일링을 위한 지배적인 패러다임이지만, 개별 단계가 최종 답변에 미치는 인과적 영향은 제대로 이해되지 않고 있다. 우리는 조기 종료(early exit)를 통해 각 단계의 인과적 중요도를 추정하고, 이 측정을 사용하여 여러 모델 계열의 추론 과정을 따라 답변이 어떻게 형성되는지 연구한다. 다양한 작업 전반에 걸쳐, 우리는 추론이 일반적으로 extit{커밋먼트 경계}(commitment boundary)를 넘는다는 것을 발견했다. 이는 일시적인 중간 추측에서 안정적이고 높은 신뢰도의 답변으로의 급격한 전환이다. 이 전환은 모델의 추론 블록이 끝나기 훨씬 전에 단일 단계에서 자주 발생하며, 그 뒤에는 최종 답변 확률을 변화시키지 않는 extit{에피페노메날}(epiphenomenal) CoT 단계가 따른다. 어텐션 프로브(attention probes)를 사용하여, 우리는 답변 형성 단계가 중간 추론 단계로부터 높은 정확도로 선형 디코딩될 수 있으며, 보지 못한 추론 작업에도 강력하게 일반화됨을 보여준다. 우리는 이 신호를 활용하여 커밋먼트 경계에서 추론 블록을 조기 종료(early-exit)함으로써, CoT의 길이를 평균 55%까지 줄였으며 모델 성능에 미치는 영향은 무시할 수 있는 수준이었다.