CALIBER: 언어 모델의 추론 전후 신뢰도 교정 (Calibrating Confidence Before and After Reasoning

요약

추론 언어 모델의 신뢰도를 사고 전과 후로 구분하여 교정하는 CALIBER 프레임워크를 제안합니다. 사고 전에는 프롬프트 해결 확률을, 사고 후에는 답변의 정답 가능성을 예측하도록 설계하여 교정 오차를 획기적으로 줄였습니다.

핵심 포인트

• 신뢰도를 사고 전(프롬프트 수준)과 후(답변 수준)로 구분하여 관리
• 7B 모델 기준 BigMathDigits 데이터셋에서 ECE를 52.5% 감소시킴
• 분포 외(OOD) 상황인 GPQA, TriviaQA 등에서도 우수한 성능 입증
• 위치-대상 정렬을 통해 모델의 신뢰도 예측 정확도와 성능을 동시에 유지