LLM (Large Language Model) 판독기(judges)는 복잡한 추론과 분석이 필요한 의사결정을 자동화할 수 있는 능력 덕분에 AI 팀들 사이에서 점점 더 흔해지고 있습니다. 이러한 추론 능력에 보정된 신뢰도 점수(calibrated confidence scores)를 결합하면 AI와 협업하는 완전히 새로운 방식이 열립니다. 예를 들어, 능동 학습(active learning) 기반의 프롬프트 최적화는 신뢰도가 낮은 의사결정을 활용하여 골든 세트(golden set)를 큐레이션함으로써, 판독기가 더 적은 주석(annotation) 노력으로 인간의 전문성을 학습할 수 있게 합니다. 또한, 에이전트 및 챗봇을 위한 안전 분류기(safety classifiers)는 신뢰도 점수를 사용하여 거짓 음성(false negatives)을 안정적으로 처리할 수 있습니다.

LLM을 위한 불확실성 정량화(Uncertainty quantification)는 화이트박스(whitebox) 방식과 블랙박스(blackbox) 방식 사이의 지속적인 경쟁이 이어지고 있는, 아직 초기 단계에 있는 활발한 연구 과제입니다. 화이트박스 방식은 기계론적 해석 가능성(mechanistic interpretability)에 기반하여, 모델의 가중치(weights)가 프롬프트를 답변으로 변환할 때 각 레이어에서 계산되는 중간 벡터인 잔차 스트림(residual stream)으로부터 불확실성 신호를 읽어냅니다. 이 방식은 가중치에 접근해야 하므로 오픈 소스 모델에서만 작동합니다. 블랙박스 방식은 토큰(tokens) 자체와 때로는 토큰 로그 확률(token log-probabilities)을 사용합니다. 가중치를 필요로 하지 않기 때문에 대부분의 블랙박스 방식은 폐쇄형(closed source) 모델을 포함한 모든 모델에서 사용할 수 있습니다.

저는 어떤 LLM 신뢰도 추정 방식이 가장 좋은가라는 질문에 최종적인 답을 내리기 위해 상위 8개의 블랙박스 접근 방식과 상위 화이트박스 접근 방식을 비교했습니다. 이 포스트에서는 각 방식을 자세히 설명하고 이들이 서로 어떻게 비교되는지 설명하겠습니다.

텍스트 기반 언어화된 신뢰도 (Text Based Verbalized confidence)
LLM은 자신의 불확실성을 표현할 수 있는가? LLM의 신뢰도 유도(Confidence Elicitation)에 대한 실증적 평가

만약 여러분이 신뢰도 추정을 시도해 보았다면, 이것이 아마 여러분이 가장 먼저 선택했을 방법일 것입니다. 모델에게 "0에서 100 사이의 척도로, 얼마나 확신하나요?"라고 묻는 방식입니다. RLHF (Reinforcement Learning from Human Feedback)로 인해 모델들은 자신감 있고 동의하는 듯한 어조를 갖도록 훈련되었으며, 이는 "제 작업 내용을 다시 확인해 보시는 것이 좋습니다"라는 답변보다는 "그냥 저를 믿으세요"와 같은 답변을 더 많이 받게 된다는 것을 의미합니다. 한 논문에 따르면, 언어화된 신뢰도 점수는 모델이 정답을 맞혔는지 여부와 관계없이 80~100% 구간에 집중되는 경향이 있다고 합니다.

언어적 불확실성 (Linguistic uncertainty)

신뢰도 추정에서의 인식론적 표지 재고: 표지(Markers)가 대규모 언어 모델(LLM)의 불확실성을 정확하게 반영할 수 있는가? (Revisiting Epistemic Markers in Confidence Estimation: Can Markers Accurately Reflect Large Language Models' Uncertainty?)

인간은 불확실할 때 특정 단어나 구절을 사용하는 경향이 있습니다. LLM은 인간으로부터 말하고 생각하는 법을 배웠으므로, 어쩌면 인간과 똑같이 행동할지도 모릅니다? (사실 방금 제가 그렇게 했습니다)

언어적 불확실성 (Linguistic uncertainty) 방법론은 모델의 응답에서 완곡어법 (hedges, 예: "아마도", "어쩌면", "제 생각에는")과 단서 (caveats, 예: "제가 알기로는", "대부분의 경우")의 빈도를 계산합니다.

추론 길이의 장황함 ≠ 진실성 (Reasoning-length Verbosity ≠ Veracity): 대규모 언어 모델의 장황함 보상 행동의 실체를 밝히다 (Demystify Verbosity Compensation Behavior of Large Language Models)

이 방법론 또한 인간 심리에 근거하며, 모델이 말을 길게 늘어놓을수록 아는 것이 적다는 것을 가정합니다. 텍스트 기반 방법론 중에서 이 방식은 가장 타당해 보이는데, 일부 모델들은 자신이 어렵다고 인식하는 작업에 대해 더 길게 추론하도록 사후 학습 (post-trained)되기 때문입니다. 다만, 이러한 종류의 모델(즉, 추론 모델 (reasoning models))에서는 성능이 훨씬 더 좋게 나타납니다.

토큰 기반 (Token Based)

자기회귀적 구조적 예측에서의 P(Answer) 불확실성 추정 (P(Answer) Uncertainty Estimation in Autoregressive Structured Prediction)

LLM이 이미 확률 값을 무료로 제공하고 있다는 사실을 깨달은 후, 아마도 여러분이 두 번째로 선택하게 될 방법일 것입니다. 정답 토큰의 확률을 읽고, 이를 다른 선택지들의 확률과 비교하여 정규화 (normalize)합니다. 실제 적용 시에는 정답이 단일 토큰인 경우가 드물기 때문에 다소 까다로울 수 있습니다.

P(True)

언어 모델은 (대체로) 자신이 무엇을 아는지 알고 있다 (Language Models (Mostly) Know What They Know)

P(True) 방식은 모델에게 자신의 답변을 다시 입력으로 주고 "이것이 맞습니까: 예/아니오?"라고 물음으로써, P(Answer) 방식의 다중 토큰 답변 문제를 우회합니다. 대부분의 토크나이저 (tokenizer)는 '예(yes)'와 '아니오(no)'를 단일 토큰으로 취급하므로 확률 분포 (probability distribution)를 읽기가 더 쉽습니다.

토큰 기반 방법론은 2026년 기준으로 가장 실용성이 떨어지는데, 그 이유는 추론 모델 (reasoning models)과 호환되지 않기 때문입니다. 사고 궤적 (thinking trajectories)에서 어떤 답변이 선택될지를 자주 언급하기 때문에, 목표 토큰이 샘플링될 시점에는 이미 답변이 결정되어 있어 확률 분포를 오염 (contaminating)시키게 됩니다.

샘플링 기반 자기 일관성 (Sampling Based Self-consistency)
SelfCheckGPT: Zero-Resource Black-Box Hallucination Detection for Generative Large Language Models
온도 (temperature) 1에서 동일한 질문을 8번 샘플링하고, 모델이 스스로 얼마나 일치하는지 횟수를 세는 방식입니다. 이는 7번의 추가 API 호출 비용이 발생하며, 심지어 당신이 원하는 종류의 불확실성을 측정하지 못할 가능성도 큽니다. MIT의 연구에 따르면, 자기 일관성 (self-consistency)은 주로 데이터 자체에 존재하는 줄일 수 없는 노이즈인 우연적 불확실성 (aleatoric uncertainty)을 측정합니다. 예를 들어, 동전 던지기가 어느 면으로 떨어질지 추측하는 심판이나, 전문가 두 명조차 의견이 갈리는 모호한 작업이 이에 해당합니다. 능동 학습 (active learning)을 위해서는 더 많은 데이터나 더 나은 사양(spec)을 통해 메울 수 있는 모델 자체 지식의 공백인 인식론적 불확실성 (epistemic uncertainty)을 측정해야 합니다. 안타깝게도 자기 일관성의 경우, 모델이 인식론적으로 틀렸을 때는 그냥 똑같이 틀린 답변을... 7번 더 내놓는 경향이 있습니다.

프롬프트 섭동 일치 (Prompt-perturbation agreement)
SPUQ: Perturbation-Based Uncertainty Quantification for Large Language Models
프롬프트 섭동 (Prompt-perturbation)은 자기 일관성과 같은 계열에서 나왔지만, 프레임(framing)을 살짝 조정하여 판결이 유지되는지 확인하는 방식입니다. 제 실험에서는 각 판단을 네 가지 방식으로 재구성된 시스템 프롬프트(간결하게 작성할 것, 뻔한 답에 회의적일 것, 주어진 증거에만 의존할 것, 추가 텍스트는 생략할 것) 하에서 다시 실행하였고, 원래의 판결을 유지한 비율을 신뢰도 (confidence)로 점수화했습니다. 이는 자기 일관성에 내재된 몇 가지 문제들을 해결하려는 괜찮은 시도이지만, 실제로는 전체 라인업 중에서 가장 약한 방법이었습니다.

모델 간 일치 (Cross-model agreement)
Don't Hallucinate, Abstain: Identifying LLM Knowledge Gaps via Multi-LLM Collaboration · Enhancing Answer Reliability Through Inter-Model Consensus of LLMs · Complementing Self-Consistency with Cross-Model Disagreement for Uncertainty Quantification
이것이 진정한 해결책이었습니다. 다른 모델들에게 동의하는지 물어봄으로써 인식론적 공백 (epistemic gaps)을 드러내는 방식입니다.

이것은 단연코 가장 강력한 블랙박스 (blackbox) 방식이며 벤치마크 전반에 걸쳐 일관성을 보이지만, 패널로 사용할 적절한 모델 세트를 찾는 것이 어려울 수 있습니다. 저는 모델들의 지식이 중복되기보다는 상호 보완적일 수 있도록 세 가지 서로 다른 모델 제품군(model families)으로부터 패널을 구성했습니다. 또한 패널의 모델들이 '스승'(또는 학생)이 아닌 진정한 동료들로 구성되도록, 패널 내 모든 모델의 벤치마크 정확도가 서로 +/- 15% 이내 차이가 나도록 했습니다. 이에 대해서는 나중에 더 자세히 다루겠습니다!

Mech Interp Probes (화이트박스 (Whitebox)) Modaic가 신뢰도를 측정하는 방법
화이트박스 (whitebox) 접근 방식에서는 Modaic SDK를 통해 Modaic 프로브 (probes)를 사용합니다. 이들은 LLM의 내부 상태 (internal state)를 읽어 불확실성 (uncertainty)과 정확성 (correctness)에 대한 신호를 포착하도록 훈련된 ML 모델들을 사용합니다. 이 방식은 단연코 활용 가능한 신호가 가장 많습니다. Modaic 프로브는 ML 모델이기 때문에, 다른 방법들이 작업 유형(이진 vs 다중 클래스, 주관적 vs 사실적, 추론 vs 단순 등) 전반에서 일관성을 유지하기 위해 고군분투하는 동안, 각 벤치마크에 맞춰 스스로를 조정하는 '치팅(cheat)'을 할 수 있는 능력도 가지고 있습니다. 비교를 공정하게 유지하기 위해, 저는 튜닝되지 않은 프로브 결과와 해당 작업의 레이블이 지정된 예시 100개만으로 튜닝된 프로브 결과를 함께 보여줍니다.

평가 (gpt-oss-120b)
우리는 평가를 위해 AUROC와 ECE라는 두 가지 지표를 사용합니다. ECE는 기대 교정 오차 (Expected Calibration Error)를 의미합니다. 이는 각 점수를 구간(0-10%, 10-20% 등)으로 그룹화하고, 구간별 평균 신뢰도와 평균 정확도 사이의 평균 차이를 측정합니다. 즉, 예측의 신뢰도가 그것이 맞을 확률을 얼마나 잘 추정하는지를 측정합니다. ECE는 낮을수록 좋으며, 0.25를 넘어가면 난수 생성기 (random number generator) 수준입니다. 교정 (calibration)은 중요하지만 속이기도 매우 쉽습니다. 특히 게으른 신뢰도 추정기는 판사(judge) 자체의 정확도를 그대로 출력함으로써 거의 완벽한 ECE 점수를 얻을 수 있습니다. 이것이 AUROC를 우리의 핵심 지표로 사용하는 이유입니다. AUROC는 무작위로 선택된 정답 예측이 무작위로 선택된 오답 예측보다 더 높은 신뢰도를 가질 확률입니다.

또한, 이는 추정기(estimator)가 정답과 오답을 구별할 수 있는 무언가를 알고 있는지를 측정합니다. 0.5는 추정기가 동전 던지기보다 나을 것이 없음을 의미하며, 1.0은 완벽함을 의미합니다. 저는 두 명의 판사(judge)를 사용했습니다: 중간 규모의 추론 모델(reasoning model)인 gpt-oss-120b와 소규모 비추론 모델(non-reasoning model)인 Llama-3.1-8B입니다. 각각은 8가지 블랙박스(black-box) 방법(gpt-oss는 토큰 로그 확률(token logprob)을 계산할 수 없으므로 6가지 방법 적용)과 두 가지 설정(튜닝되지 않은 상태 및 100개의 예시로 튜닝된 상태)에서의 Modaic probe를 통해 측정되었습니다. 튜닝된 probe는 홀드아웃(held-out) 평가 세트의 예시를 절대 학습하지 않습니다. 저는 MMLU-Pro, MT-Bench, ARC-Challenge, HaluEval Summarization에 대해 1000개의 홀드아웃 예시로 평가했습니다. CodeJudgeBench는 344개, OR-Bench Toxic은 300개, JudgeBench는 254개, GPQA-Diamond는 198개를 사용했습니다.

gpt-oss-120b 벤치마크
gpt-oss-120b 정확도
MMLU-Pro 79%
OR-Bench Toxic 69%
JudgeBench 82%
GPQA-Diamond 72%
MT-Bench 74%
ARC-Challenge 95%
CodeJudgeBench 83%
HaluEval Summ. 70%

AUROC (높을수록 좋음):
방법론 MMLU-Pro OR-Bench JudgeBench GPQA MT-Bench ARC CodeJudge HaluEval
텍스트 기반 (Text based)
Verbalized confidence 0.79 0.67 0.67 0.79 0.58 0.68 0.54 0.64
Linguistic uncertainty 0.79 0.74 0.74 0.82 0.60 0.71 0.67 0.60
Reasoning-length 0.69 0.82 0.44 0.75 0.60 0.67 0.58 0.60
샘플링 기반 (Sampling based)
Self-consistency 0.74 0.64 — — — — — 0.58
Prompt-perturbation 0.70 0.65 0.66 0.76 0.65 0.80 0.57 0.52
Cross-model agreement 0.78 0.78 0.85 0.77 0.66 0.89 0.83 0.64
화이트박스 (Whitebox, Modaic Probe)
Modaic Probe v2 (untuned) 0.87 0.84 0.91 0.84 0.70 0.92 0.82 0.67
Modaic Probe v2 (tuned, N=100) 0.85 0.88 0.88 0.86 0.68 0.91 0.84 0.67

ECE (낮을수록 좋음):
방법론 MMLU-Pro OR-Bench JudgeBench GPQA MT-Bench ARC CodeJudge HaluEval
텍스트 기반 (Text based)
Verbalized confidence 0.08 0.27 0.13 0.09 0.15 0.02 0.25 0.20
Linguistic uncertainty 0.28 0.18 0.31 0.21 0.23 0.43 0.33 0.20
Reasoning-length 0.28 0.19 0.31 0.23 0.24 0.45 0.35 0.20
샘플링 기반 (Sampling based)
Self-consistency 0.05 0.07 — — — — — 0.05
Prompt-perturbation 0.07 0.04 0.18 0.18 0.18 0.06 0.30 0.07
Cross-model agreement 0.10 0.15 0.07 0.13 0.17

0.04 0.09 0.21 Whitebox (Modaic Probe) Modaic Probe v2 (untuned) 0.02 0.08 0.09 0.08 0.05 0.09 0.18 0.03 Modaic Probe v2 (tuned, N=100) 0.05 0.05 0.09 0.14 0.10 0.03 0.05 0.04 gpt-oss-120b를 판사(judge)로 사용; 벤치마크별 AUROC 및 ECE. 굵은 글씨는 열당 가장 우수한 전체 평가(full-eval) 방법임. riskcurve_gpt-oss Llama-3.1-8B 벤치마크 Llama-3.1-8B 정확도 MMLU-Pro 36% OR-Bench Toxic 61% JudgeBench 50% GPQA-Diamond 28% MT-Bench 62% ARC-Challenge 78% CodeJudgeBench 47% HaluEval Summ. 70% AUROC (높을수록 좋음): 방법론 MMLU-Pro OR-Bench JudgeBench GPQA MT-Bench ARC CodeJudge HaluEval 텍스트 기반 (Text based) 언어화된 확신 (Verbalized confidence) 0.60 0.51 0.50 0.48 0.54 0.62 0.47 0.58 언어적 불확실성 (Linguistic uncertainty) 0.59 0.47 0.54 0.52 0.51 0.59 0.54 0.52 추론 길이 (Reasoning-length) 0.59 0.46 0.54 0.54 0.52 0.60 0.55 0.54 토큰 기반 (Token based) P(True) 0.56 0.48 0.49 0.50 0.53 0.57 0.48 0.56 P(Answer) 0.72 0.79 — — — — — 0.66 샘플링 기반 (Sampling based) 자기 일관성 (Self-consistency) 0.71 0.71 — — — — — 0.52 프롬프트 섭동 (Prompt-perturbation) 0.55 0.57 0.52 0.53 0.55 0.61 0.49 0.55 교차 모델 합의 (Cross-model agreement) 0.78 0.65 0.57 0.64 0.67 0.86 0.58 0.59 Whitebox (Modaic Probe) Modaic Probe v2 (untuned) 0.80 0.81 0.58 0.65 0.74 0.91 0.58 0.60 Modaic Probe v2 (tuned, N=100) 0.77 0.89 0.51 0.68 0.73 0.90 0.62 0.61 ECE (낮을수록 좋음): 방법론 MMLU-Pro OR-Bench JudgeBench GPQA MT-Bench ARC CodeJudge HaluEval 텍스트 기반 (Text based) 언어화된 확신 (Verbalized confidence) 0.43 0.36 0.32 0.55 0.23 0.08 0.44 0.13 언어적 불확실성 (Linguistic uncertainty) 0.18 0.16 0.06 0.23 0.12 0.28 0.04 0.24 추론 길이 (Reasoning-length) 0.19 0.23 0.15 0.27 0.18 0.27 0.16 0.21 토큰 기반 (Token based) P(True) 0.46 0.41 0.34 0.58 0.26 0.10 0.43 0.16 P(Answer) 0.13 0.26 — — — — — 0.03 샘플링 기반 (Sampling based) 자기 일관성 (Self-consistency) 0.19 0.11 — — — — — 0.08 프롬프트 섭동 (Prompt-perturbation) 0.08 0.03 0.39 0.62 0.33 0.20 0.52 0.26 교차 모델 합의 (Cross-model agreement) 0.12 0.24 0.27 0.22 0.18 0.19 0.29 0.26 Whitebox (Modaic Probe) Modaic Probe v2 (untuned) 0.12 0.09 0.12 0.17 0.06 0.11 0.12 0.16 Modaic Probe v2 (tuned, N=100) 0.09 0.09 0.25 0.08 0.15 0.07 0.39 0.14 Llama-3.1-8B를 판사(judge)로 사용; 벤치마크별 AUROC 및 ECE.

각 열(column)별로 Bold가 가장 우수한 전체 평가(full-eval) 방법입니다.

결과(Findings)
모델이 태스크(task)를 더 잘 알수록 신뢰도(confidence)를 더 잘 추정할 수 있습니다. MMLU-Pro에서 Llama의 성능과 gpt-oss의 성능을 비교해 보십시오. 차별화 요소는 정확도(accuracy)입니다. 이것이 능동 학습(active learning)을 복리로 작용하게 만드는 핵심입니다. 변별력(discrimination)이 정확도를 높이고, 정확도가 변별력을 높입니다.

프롬프트 섭동(Prompt-perturbation)은 자기 일관성(self-consistency)보다 성능이 낮았습니다. 시스템 프롬프트(system prompt)를 재작성하는 것은 Temperature-1 재샘플링(resample)보다 약한 자극(nudge)임이 증명되었습니다. 재샘플링은 실제로 모델의 답변 분포(answer distribution)를 탐색하는 반면, 프롬프트 수정은 종종 무시되는 경향이 있어 실제 실수(genuine mistakes)를 뒤집는 경우가 더 적습니다.

P(Answer)는 P(True)를 지속적으로 능가합니다. 저는 이것이 모델들이 자신의 출력(outputs)에 대해 과잉 확신(overconfident)을 갖는다는 사실로 귀결된다고 의심합니다. P(Answer)의 경우, 적어도 어떤 토큰(token)