ORCE: 대규모 언어 모델의 구두 확신도 순서 인식 정렬

대규모 언어 모델(LLMs)은 부정확한 답변을 내놓더라도 높은 확실성을 보이는 경우가 많아, 실제 시나리오에 배포하기 위해서는 신뢰할 수 있는 확신도 추정(confidence estimation)이 필수적입니다. 모델이 자연어로 자신의 확신도를 명시하는 구두 확신도(verbalized confidence)는 토큰 로짓(token logits)을 사용할 수 없을 때에도 적용 가능한 유연하고 사용자 친화적인 불확실성 신호(uncertainty signal)를 제공합니다. 하지만 기존의 구두 확신도 방법들은 종종 답변 생성과 확신도 생성을 공동으로 최적화하여, 확신도 정렬 목표가 답변 정확도와 간섭을 일으킬 수 있습니다. 본 연구에서는 구두 확신도를 위한 분리되고 순서 인식적인(decoupled and order-aware) 프레임워크를 제안합니다.

이러한 결과들은 확신도 추정(confidence estimation)을 답변 생성(answer generation)과 분리하고, 응답 전반에 걸친 확신도의 상대적 순서(relative ordering)를 최적화함으로써 구두 확신도를 더 신뢰성 있게 정렬할 수 있음을 보여줍니다.