토큰 수준의 불확실성은 이제 어떠한 정확성 레이블 없이도 정확하게 정량화될 수 있습니다. 저자들은 모델의 변화하는 의구심과 확신을 포착하는 저차원 ‘U-Space’를 정의하고, 각 토큰 상태를 직교 기저 벡터에 투영하여 해석 가능한 불확실성 맵(uncertainty map)을 얻습니다. — “우리는 모델의 변화하는 불확실성을 측정 가능하고 해석 가능하게 만드는 저차원 부분 공간인 U-Space를 소개합니다.” [1] The same construction is deliberately label‑free: “Our approach requires no correctness labels, repeated generations, or training.” [1]
이전 연구에서는 대규모 언어 모델(LLM)의 대부분의 불확실성 추정기가 여러 개의 확률적 디코딩을 실행하거나, 주석 처리된 정확성 데이터에 보조 분류기(auxiliary classifiers)를 훈련시키거나, 토큰별 신호를 단일 스칼라로 통합하는 방식이었습니다. 이 스칼라는 종종 실제 오류 위험보다는 생성 길이와 더 높은 상관관계를 가졌습니다. 이러한 파이프라인들은 개발자들에게 값비싼 감독 데이터 수집을 강요했으며, 모델이 어느 부분에서 주저했는지에 대한 통찰력을 거의 제공하지 못하는 거친(coarse-grained) 신뢰도 점수를 받아들이도록 했습니다.
U-Space 신뢰도 점수는 생성 길이가 일정하게 유지되는 경우에도 추론 벤치마크에서 모든 기존 기준선(baselines)을 능가합니다. 논문은 “추론 벤치마크 전반에 걸쳐, 그 신뢰도 점수는 표준 및 길이 제어 평가 모두에서 확립된 기준선을 능가하며, 지도 학습 기반 추정기보다 더 안정적으로 전이됩니다.” [1] 이러한 장점은 MMLU-Pro나 TriviaQA와 같은 작업에서도 지속되며, 여기서 단일 패스 스코어러(single-pass scorer)는 엔트로피만 사용하거나 앙상블 방법론보다 일관되게 정답에 더 높은 순위를 매깁니다.
이 접근 방식은 여전히 의심과 확실성을 위한 수동으로 식별된 의미적 앵커에 의존하며, 그 평가는 추론 스타일 데이터셋으로 제한됩니다. 동일한 하위 공간(subspace)이 개방형 생성(open-ended generation), 코드 합성(code synthesis), 또는 다국어 설정에서 불확실성을 포착할 수 있을지는 아직 명확하지 않습니다. 더욱이, 직교 기저 구성은 모델 계열별로 달라질 수 있는 비교적 안정적인 잔여 표현(residual representation)을 가정하므로, 추가적인 견고성 검사(robustness checks)가 필요합니다.
실무자들은 기존의 엔트로피 전용 신뢰 모듈을 U-Lens 구현으로 교체해야 합니다. 이는 라벨이 없는 토큰별 점수를 즉시 제공하며 추가적인 데이터 수집이 필요하지 않습니다. 이렇게 함으로써 파이프라인은 지도 학습 보정(supervised calibration)이나 여러 샘플링 패스(multiple sampling passes)의 비용을 지불하지 않으면서, 불확실성이 급증할 때 답변을 거부하는 등 더욱 신뢰할 수 있는 연기 결정(defer decisions)을 내릴 수 있습니다.
참고 문헌
- U-Space: 언어 모델에서 언제 그리고 왜 불확실성이 발생하는지 밝히다