의미론적 보상을 통한 대규모 언어 모델(LLMs)의 캘리브레이션 방법론

요약

LLMs의 신뢰성을 높이기 위해 모델의 확신도와 실제 정답 여부를 일치시키는 캘리브레이션 기술인 CSR(Calibration with Semantic Reward)을 제안합니다. 기존의 언어화된 확신도 방식이 텍스트 변형에 따라 일관성이 떨어지는 문제를 해결하기 위해, 의미 공간(semantic space)에서 직접 의미론적 일치성을 보상하는 방식을 사용합니다. 실험 결과, CSR은 다양한 데이터셋에서 기존 방식보다 낮은 ECE와 높은 AUROC를 기록하며 뛰어난 일반화 성능을 입증했습니다.

핵심 포인트

• 기존 RLVR 방식은 이진 정답 여부에만 집중하여 확신도가 높은 오답에 대한 페널티가 부족해 캘리브레이션 성능이 저하됨
• 언어화된 확신도(verbalized confidence) 방식은 토큰 수준의 변형에 따라 일관성이 결여되는 한계가 있음
• CSR 프레임워크는 의미론적 일치(semantic agreement)를 촉진하고 가짜 일관성(spurious consistency)을 억제하는 보상 체계를 도입함
• 실험을 통해 ECE를 최대 40% 감소시키고 AUROC를 최대 31% 향상시키는 성능 개선을 확인함