Large Language Diffusion Models을 위한 불확실성 정량화 (Uncertainty Quantification)

Large Language Diffusion Models (LLDMs)는 더 높은 병렬성을 통해 더 빠른 추론을 제공하며 자기회귀 (Autoregressive) 모델의 대안으로 부상하고 있습니다. 자기회귀 LLM과 마찬가지로, 이 모델들 또한 환각 (Hallucination) 현상에 취약하므로 안전한 배포를 위해서는 신뢰할 수 있는 불확실성 정량화 (Uncertainty Quantification, UQ)가 매우 중요합니다. 그러나 기존의 UQ 방법들은 이 새로운 패러다임과 근본적으로 맞지 않습니다. 기존 방법들은 자기회귀적 인수분해 (Autoregressive factorization)를 가정하거나 비용이 많이 드는 반복적인 샘플링 (Repeated sampling)을 사용하며, 이는 LLDM의 효율성을 상쇄합니다. 본 연구에서는 LLDM을 위한 UQ에 대한 최초의 체계적인 연구를 제시하며, 중간 생성물 (Intermediate generations), 토큰 재마스킹 역학 (Token remasking dynamics), 그리고 디노이징 복잡도 (Denoising complexity)를 활용하여 반복적인 디노이징 (Denoising) 과정에서 도출되는 경량화된 제로샷 (Zero-shot) 불확실성 신호를 제안합니다. 나아가, 우리는 마스크된 확산 가능도 (Masked diffusion likelihoods)와 궤적 기반의 의미론적 유사성 결여 (Trajectory-based semantic dissimilarity)를 결합하여 최첨단 UQ 방법을 LLDM에 맞게 조정합니다. 우리는 기대 궤적 유사성 결여 (Expected trajectory dissimilarity)가 마스크된 확산 학습 목적 함수 (Masked diffusion training objective)의 하한선 (Lower bound)임을 증명하며, 이는 이를 불확실성 점수로 사용하는 동기가 됩니다. 세 가지 작업, 여덟 개의 데이터셋, 그리고 두 개의 모델에 걸친 종합적인 실험을 통해 우리의 방법이 뛰어난 비용 대비 성능 (Cost-performance trade-off)을 달성함을 보여줍니다. 즉, 가장 강력한 샘플링 기반 베이스라인 (Sampling-based baselines)에 근접하면서도 계산 오버헤드 (Computational overhead)는 최대 100배 더 낮습니다. 우리의 연구는 LLDM이 빠른 추론과 신뢰할 수 있는 환각 탐지를 동시에 제공할 수 있음을 입증합니다.