Large Language Diffusion Models을 위한 불확실성 정량화 (Uncertainty Quantification)

요약

본 논문은 Large Language Diffusion Models (LLDMs)의 안전한 배포를 위해 불확실성 정량화(Uncertainty Quantification, UQ) 방법을 제시합니다. 기존 UQ 방법들이 LLDM의 효율성을 저해하는 문제를 해결하기 위해, 본 연구는 중간 생성물, 토큰 재마스킹 역학, 디노이징 복잡도를 활용하여 경량화된 제로샷 불확실성 신호를 개발했습니다. 이 방법은 계산 오버헤드를 크게 줄이면서도 강력한 샘플링 기반 베이스라인에 근접하는 뛰어난 비용 대비 성능을 달성하며, LLDM의 빠른 추론과 신뢰할 수 있는 환각 탐지를 동시에 가능하게 합니다.

핵심 포인트

• LLDMs는 자기회귀 모델의 대안으로 부상하고 있으나, 안전한 배포를 위해 불확실성 정량화(UQ)가 필수적입니다.
• 기존 UQ 방법들은 LLDM의 효율성을 저해하는 문제점을 가지고 있어 새로운 접근 방식이 필요합니다.
• 본 연구는 중간 생성물 및 디노이징 복잡도를 활용하여 계산 오버헤드가 낮은 제로샷 불확실성 신호를 제안했습니다.
• 제안된 방법은 마스크된 확산 가능도와 궤적 기반 의미론적 유사성 결여를 결합하여 최첨단 UQ 성능을 달성합니다.
• 계산 오버헤드를 최대 100배 낮추면서 강력한 샘플링 기반 베이스라인에 근접하는 뛰어난 비용 대비 성능을 입증했습니다.