대형 언어 모델의 환각 감지를 위한 내부 주의 발산 신호를 통한 경량 불확실성 정량화 방법 제안

We propose a lightweight and single-pass uncertainty quantification method for detecting hallucinations in Large Language Models. The method uses attention matrices to estimate uncertainty without requiring repeated sampling or external models. Specifically, we measure the Kullback-Leibler divergence between each attention head's distribution and a uniform reference distribution, and use these features in a logistic regression probe. Across multiple datasets, task types, and model families, attention divergence is highly predictive of answer correctness and performs competitively with existing uncertainty estimation methods. We find that this signal is concentrated in middle layers and on factual tokens such as named entities and numbers, suggesting that attention dynamics provides an efficient and interpretable white-box signal of model uncertainty.

대형 언어 모델 (LLM) 의 환각을 감지하기 위해 경량적이고 단일 패스 불확실성 정량화 방법을 제안합니다. 이 방법은 반복적인 샘플링이나 외부 모델을 필요로 하지 않고 주의 행렬 (attention matrices) 을 사용하여 불확실성을 추정합니다. 구체적으로, 각 주의 헤더의 분포와 균일 참조 분포 사이의 Kullback-Leibler 발산 (KL divergence) 을 측정하고, 이러한 특징을 로지스틱 회귀 탐사 (logistic regression probe) 에서 사용합니다. 여러 데이터셋, 작업 유형 및 모델 계열을 대상으로 할 때, 주의 발산은 정답 정확도를 예측하는 데 매우 효과적이며 기존 불확실성 추정 방법과 경쟁적으로 성능을 보입니다. 우리는 이 신호가 중간 층과 사실적인 토큰 (명칭 엔티티와 숫자 등) 에 집중되어 있음을 발견했으며, 이는 주의 역학이 모델의 불확실성에 대해 효율적이고 해석 가능한 화이트박스 (white-box) 신호를 제공함을 시사합니다.