언어 모델의 '추론' 과정에서 불확실성 추적

요약

본 논문은 언어 모델(LM)의 추론 과정 자체를 중간 토큰 시퀀스인 '추적(traces)'으로 간주하고, 이를 불확실성 정량화 관점에서 분석했습니다. 연구진은 각 추적을 특징들로 요약한 '불확실성 추적 프로파일'을 개발하여, 이 프로파일만으로 LM이 올바른 최종 답변을 도출할지 여부를 높은 정확도로 예측할 수 있음을 입증했습니다. 특히 생성 초기의 적은 토큰만을 사용해도 오류를 감지할 수 있으며, 성공적인 추적과 실패한 추적 사이에는 질적으로 구별되는 불확실성 패턴이 존재함을 발견했습니다.

핵심 포인트

• LM의 '추론' 과정을 중간 토큰 시퀀스인 '추적(traces)'으로 모델링하여 분석함.
• 불확실성 신호의 형태를 요약한 '불확실성 추적 프로파일'을 개발하고 이를 예측 도구로 활용함.
• 이 프로파일만으로 LM의 최종 답변 정확도를 높은 AUROC 값(0.807)으로 예측할 수 있음을 입증함.
• 추론 과정에서 오류는 생성 초기에 감지될 수 있으며, 성공적인 추적과 실패한 추적은 질적으로 다른 불확실성 패턴을 보임.