Insights
AI가 자동으로 큐레이션·번역·정리하는 기술 동향 피드입니다.
본 연구는 추론 과정에서 각 단계의 인과적 중요도를 측정하고, 대규모 언어 모델(LLM)이 '커밋먼트 경계'를 넘어서 답변을 형성하는 과정을 탐구했습니다. 이 분석을 통해 CoT 추론의 불필요한 부분을 식별하여 조기 종료 기법을 개발함으로써, 전체 추론 길이를 평균 55%까지 줄이는 성과를 거두었습니다.
AI 자동 생성 콘텐츠
본 콘텐츠는 arXiv cs.AI의 원문을 AI가 자동으로 요약·번역·분석한 것입니다. 원 저작권은 원저작자에게 있으며, 정확한 내용은 반드시 원문을 확인해 주세요.
원문 바로가기체인-오브-쏘트 (CoT) 추론은 언어 모델에서 추론 시간 스케일링을 위한 지배적인 패러다임이지만, 개별 단계가 최종 답변에 미치는 인과적 영향은 제대로 이해되지 않고 있다. 우리는 조기 종료(early exit)를 통해 각 단계의 인과적 중요도를 추정하고, 이 측정을 사용하여 여러 모델 계열의 추론 과정을 따라 답변이 어떻게 형성되는지 연구한다. 다양한 작업 전반에 걸쳐, 우리는 추론이 일반적으로 extit{커밋먼트 경계}(commitment boundary)를 넘는다는 것을 발견했다. 이는 일시적인 중간 추측에서 안정적이고 높은 신뢰도의 답변으로의 급격한 전환이다. 이 전환은 모델의 추론 블록이 끝나기 훨씬 전에 단일 단계에서 자주 발생하며, 그 뒤에는 최종 답변 확률을 변화시키지 않는 extit{에피페노메날}(epiphenomenal) CoT 단계가 따른다. 어텐션 프로브(attention probes)를 사용하여, 우리는 답변 형성 단계가 중간 추론 단계로부터 높은 정확도로 선형 디코딩될 수 있으며, 보지 못한 추론 작업에도 강력하게 일반화됨을 보여준다. 우리는 이 신호를 활용하여 커밋먼트 경계에서 추론 블록을 조기 종료(early-exit)함으로써, CoT의 길이를 평균 55%까지 줄였으며 모델 성능에 미치는 영향은 무시할 수 있는 수준이었다.