클러스터링 기반 자기 평가: 대규모 언어 모델(LLM)의 불확실성 정량화를 위한 단순하지만 효과적인 방법

대규모 언어 모델 (LLMs)은 다양한 작업에서 놀라운 성능을 보여주지만, 사실과 다르게 잘못되었음에도 불구하고 그럴듯해 보이는 응답을 생성하는 경우가 많습니다. 이러한 문제는 명시적인 불확실성 추정치 (uncertainty estimates)의 부재로 인해 더욱 심화되며, 이로 인해 사용자가 모델 출력의 신뢰성을 판단하기 어렵게 만듭니다. 기존의 불확실성 정량화 (uncertainty quantification) 방법들은 일반적으로 샘플링된 생성물들 사이의 엔트로피 (entropy)와 같은 간접적인 신호에 의존합니다. 이러한 신호들은 해석하기 어려울 수 있으며, 자신의 불확실성을 평가하는 모델의 능력을 충분히 활용하지 못합니다. 본 논문에서는 LLM의 불확실성 정량화를 위한 단순하면서도 효과적인 자기 평가 (self-assessment) 방법을 제안합니다. 우리의 접근 방식은 샘플링된 생성물들을 의미론적으로 구별되는 클러스터 (clusters)로 그룹화하고, 이를 구조화된 객관식 문제의 답변 선택지로 변환한 뒤, LLM이 각 선택지에 할당하는 확률을 신뢰도 추정치 (confidence estimate)로 사용합니다. 여러 모델과 데이터셋에 걸친 실험 결과, 우리의 방법이 베이스라인 (baseline) 접근 방식들을 일관되게 능가함을 보여줍니다. 특히, 단 두 개의 추가 샘플만으로도 경쟁력 있는 성능을 달성하여, 효과성과 효율성을 모두 입증하였습니다.