대규모 언어 모델(LLM)은 자신의 응답에 대해 과도하게 확신한다

요약

지시어 튜닝된 LLM이 베이스 모델보다 캘리브레이션 성능이 떨어지는 원인을 분석한 연구입니다. 채팅 템플릿이 '소유권 편향'을 유발하여 모델이 자신의 답변에 과도한 확신을 갖게 함을 밝히고, 이를 개선하기 위한 추론 시점의 프레이밍 전략을 제안합니다.

핵심 포인트

• 지시어 튜닝은 모델의 캘리브레이션 성능을 저하시킴
• 채팅 템플릿이 소유권 편향을 유발하여 과도한 확신을 가중함
• 모델은 자신의 답변에 대해 최대 26% 더 높은 확신을 보임
• 추론 시 사용자 입력 프레이밍을 통해 재학습 없이 캘리브레이션 개선 가능