Insights
AI가 자동으로 큐레이션·번역·정리하는 기술 동향 피드입니다.
본 연구는 LLM의 사후 훈련(SFT, RL, OPD)이 최종 답변 정확도뿐 아니라 추론 과정 중 신뢰도에 미치는 영향을 분석했습니다. CoT 전/중/후를 평가하는 3단계 보정 프레임워크를 도입하여, 각 단계별 최적의 신뢰도 활용 방안을 제시합니다.
AI 자동 생성 콘텐츠
본 콘텐츠는 arXiv cs.CL (NLP)의 원문을 AI가 자동으로 요약·번역·분석한 것입니다. 원 저작권은 원저작자에게 있으며, 정확한 내용은 반드시 원문을 확인해 주세요.
원문 바로가기대규모 언어 모델(LLM)은 지도 미세 조정(SFT), 강화 학습(RL), 그리고 온-정책 증류(OPD)를 통해 강력한 추론 성능 향상을 이루었지만, 이러한 사후 훈련 방법들은 보통 최종 답변 정확도만으로 평가됩니다. 우리는 이들이 추론 과정 중 신뢰도를 어떻게 변화시키는지 연구합니다. 우리는 사고의 흐름(CoT: Chain-of-Thought) 생성 전, 중, 후를 평가하는 3단계 보정 프레임워크를 도입하며, 이는 난이도 추정, 조기 종료, 답변 취합에 해당합니다. 수학적 추론 벤치마크에서 통제된 비교를 통해, 우리는 OPD가 가장 유용한 사전 추론 신뢰도를 제공하고, SFT가 조기 중단을 위한 가장 강력한 온라인 신호를 제공하며, RL이 취합을 위한 가장 신뢰할 수 있는 트레이스 수준 신호를 생성한다는 것을 발견합니다. 나아가 우리는 신뢰도 신뢰성이 위치 의존적임을 보여줍니다: RL 신뢰도는 경로 확정(path-commitment) 단계 이후에 유용해지는 반면, OPD 신뢰도는 초기에 유용하지만 나중에 역보정(inversely calibrated)될 수 있습니다. 이러한 관찰을 바탕으로, 우리는 PosConf를 제안합니다. 이는 신뢰도를 오직 신뢰할 수 있는 상대적 위치 간격에서만 사용하는 위치 인식형 신뢰도 전략입니다. PosConf는 다수 투표보다 RL 답변 취합을 6.1점 향상시키고, OPD의 후기 역보정 영역을 피함으로써 최대 4.3점까지 이득을 얻으며 OPD의 조기 중단을 일관되게 개선하여, extit{추론 모델에서의 신뢰도는 단계별 및 위치 인식적으로 사용되어야 함}을 보여줍니다. 우리의 코드는 https://github.com/EIT-NLP/Post-Training-Calibration에서 이용 가능합니다.