우리는 대규모 언어 모델(Large Language Models)에서 환각(hallucinations)을 탐지하기 위한 경량의 단일 패스 불확실성 정량화(uncertainty quantification) 방법을 제안합니다. 이 방법은 어텐션 행렬(attention matrices)을 사용하여 반복적인 샘플링이나 외부 모델이 필요 없이 불확실성을 추정합니다. 구체적으로, 우리는 각 어텐션 헤드(attention head)의 분포와 균일 참조 분포(uniform reference distribution) 간의 쿨백-라이블러 발산(Kullback-Leibler divergence)을 측정하고, 이 특징들을 로지스틱 회귀 분석 프로브(logistic regression probe)에 사용합니다. 여러 데이터셋, 태스크 유형 및 모델 계열 전반에 걸쳐 어텐션 발산은 답변의 정확도와 높은 예측력을 보이며 기존 불확실성 추정 방법들과 경쟁할 만한 성능을 나타냅니다. 우리는 이 신호가 중간 레이어(middle layers)와 개체명(named entities), 숫자와 같은 사실적 토큰(factual tokens)에 집중되어 있음을 발견했으며, 이는 어텐션 역학(attention dynamics)이 모델 불확실성에 대한 효율적이고 해석 가능한 화이트박스(white-box) 신호를 제공함을 시사합니다.