ORCE: 대규모 언어 모델의 구두 확신도 순서 인식 정렬

요약

본 논문은 대규모 언어 모델(LLMs)이 부정확한 답변에 대해서도 높은 확실성을 보이는 문제를 해결하기 위해, 신뢰할 수 있는 구두 확신도 추정 방법을 제안합니다. 기존 방법들이 답변 생성과 확신도 생성을 공동 최적화하여 발생하는 간섭 문제를 극복하고자 합니다. 연구진은 확신도 추정을 답변 생성 과정과 분리하고 응답 전반의 상대적 순서를 인식하는 새로운 프레임워크를 제시함으로써, 구두 확신도를 더욱 신뢰성 있게 정렬할 수 있음을 입증했습니다.

핵심 포인트

• LLMs의 높은 확실성은 부정확한 답변을 낳는 주요 문제이므로, 신뢰할 수 있는 확신도 추정(confidence estimation)이 필수적이다.
• 구두 확신도는 토큰 로짓 사용이 불가능할 때 유연하게 사용할 수 있는 사용자 친화적인 불확실성 신호다.
• 기존의 구두 확신도 방법들은 답변 생성과 확신도 생성을 공동 최적화하여 정확도와 간섭을 일으킬 수 있다.
• 제안된 프레임워크는 확신도 추정을 답변 생성과 분리하고, 응답 전반에 걸친 상대적 순서(relative ordering)를 최적화하여 구두 확신도의 신뢰성을 높인다.