불확실성 정량화 (Uncertainty Quantification, UQ)는 고위험 영역 (high-stakes domains)에서 대규모 언어 모델 (Large Language Models, LLMs)을 배포하기 위한 주요 안전장치로 널리 간주됩니다. 그러나 우리는 이 분야가 범주 오류 (category error)를 겪고 있다고 주장합니다. 즉, LLM을 위한 주류 UQ 방법론들은 단지 비지도 클러스터링 (unsupervised clustering) 알고리즘일 뿐이라는 것입니다. 우리는 대부분의 현재 접근 방식이 모델 생성물의 외부적 정확성 (external correctness)보다는 모델 생성물의 내부적 일관성 (internal consistency)을 본질적으로 정량화한다는 점을 입증합니다. 결과적으로, 현재의 방법들은 사실적 현실 (factual reality)에 대해 근본적으로 눈이 멀어 있으며, 모델이 안정적이지만 틀린 답변에 대해 높은 확신을 보이는 '확신에 찬 환각 (confident hallucinations)'을 감지하는 데 실패합니다. 따라서 현재의 UQ 방법들은 불확실성을 가진 모델을 배포할 때 기만적인 안전감을 조성할 수 있습니다. 자세히 살펴보면, 우리는 이러한 내부 상태 (internal state)에 대한 의존성으로 인해 발생하는 세 가지 결정적인 병리 현상을 식별했습니다: 배포를 불안전하게 만드는 하이퍼파라미터 민감도 위기 (hyperparameter sensitivity crisis), 안정성을 진실과 혼동하는 내부 평가 사이클 (internal evaluation cycle), 그리고 불확실성을 평가하기 위해 불안정한 대리 지표 (proxy metrics)에 의존하게 만드는 근거 진실 (ground truth)의 근본적인 결여입니다. 이 교착 상태를 해결하기 위해, 우리는 UQ로의 패러다임 전환을 옹호하며, 연구 커뮤니티가 더 나은 평가 지표와 설정 (settings)을 채택하고, 네이티브 불확실성 (native uncertainty)을 위한 메커니즘 변화를 구현하며, 검증을 객관적 진실에 고정하여 모델의 확신이 현실에 대한 신뢰할 수 있는 대리 지표 역할을 할 수 있도록 하는 로드맵을 제시합니다.