언어 모델의 '추론' 과정에서 불확실성 추적

언어 모델(LM)의 '추론'(reasoning)은 흔히 Chain-of-Thought 또는 테스트 시간 스케일링으로 설명되며, 벤치마크 성능을 향상시키는 경우가 많지만, 이 과정의 근본적인 역동성은 여전히 잘 이해되지 않고 있습니다. 우리는 '추론' 과정을 LM이 생성하는 중간 토큰 시퀀스인 추적(traces)으로 간주하여 불확실성 정량화(uncertainty quantification)의 관점에서 이러한 역동성을 연구합니다. 우리는 각 추적을 불확실성 추적 프로파일(uncertainty trace profile)로 요약하는데, 이는 기울기나 선형성과 같이 추적 전반에 걸친 불확실성 신호의 형태를 설명하는 소수의 특징들입니다. GSM8K와 ProntoQA에서 평가된 5개의 LM을 대상으로 한 결과, 이 프로파일들이 해당 추적이 올바른 최종 답변을 도출할지 여부를 AUROC 0.807까지 예측할 수 있음을 발견했으며, 이는 최근 관련 연구 대비 현저히 개선된 수치입니다. 우리는 전체 추적의 처음 몇 백 개의 토큰만을 사용하여 AUROC 0.801에 도달했는데, 이는 오류를 생성 초기에 감지할 수 있음을 시사합니다. 올바른 추적과 잘못된 추적을 상세하게 비교한 결과, 질적으로 구별되는 불확실성 프로파일이 나타났으며, 특히 올바른 추적은 더 가파르고 덜 선형적인 불확실성 감소를 보였습니다. 종합적으로 볼 때, 불확실성 하에서의 의사결정(decision-making under uncertainty)에 기반한 우리의 방법론은 LM '추론'의 근간이 되는 생성 과정을 연구하기 위한 원칙적인 관점을 제공함을 시사합니다.