클러스터링 기반 자기 평가: 대규모 언어 모델(LLM)의 불확실성 정량화를 위한 단순하지만 효과적인 방법

요약

LLM의 불확실성을 정량화하기 위해 클러스터링 기반의 자기 평가 방법을 제안합니다. 생성된 답변들을 의미론적 클러스터로 그룹화하고 이를 객관식 문제로 변환하여 모델의 신뢰도를 측정합니다. 실험 결과 기존 방식보다 높은 효율성과 성능을 입증했습니다.

핵심 포인트

• 클러스터링 기반의 새로운 불확실성 정량화 방법론 제안
• 생성물을 의미론적 클러스터로 그룹화하여 객관식 문제로 변환
• 기존 엔트로피 기반 방식보다 높은 해석력과 성능 제공
• 최소한의 추가 샘플로도 경쟁력 있는 신뢰도 추정 가능