관점: LLM에서의 불확실성 정량화(Uncertainty Quantification)는 단지 비지도 클러스터링(Unsupervised

요약

현재 LLM의 불확실성 정량화(UQ) 방법론들이 모델의 외부적 정확성이 아닌 내부적 일관성만을 측정하는 비지도 클러스터링에 불과하다는 점을 지적합니다. 이로 인해 모델이 틀린 답변을 확신 있게 내놓는 '확신에 찬 환각'을 감지하지 못하는 문제가 발생하며, 이를 해결하기 위해 객관적 진실에 기반한 새로운 패러다임 전환이 필요함을 주장합니다.

핵심 포인트

• 현재의 UQ 방법론은 모델의 내부적 일관성만을 측정하며 사실적 현실(factual reality)을 반영하지 못함
• 모델이 안정적이지만 틀린 답변을 내놓을 때 높은 확신을 보이는 '확신에 찬 환각' 문제 발생
• 하이퍼파라미터 민감도, 내부 평가 사이클, 근거 진실 결여라는 세 가지 주요 병리 현상 식별
• 객관적 진실에 고정된 검증과 네이티브 불확실성 메커니즘을 포함한 새로운 로드맵 제안