작은 LLM 의 제로샷 신뢰도 추정: 감독적 베이스라인이 훈련할 가치가 없는 때

요약

본 논문은 작은 언어 모델(LLM)이 자신의 예측 정확도를 얼마나 신뢰할 수 있는지 측정하는 '제로샷 신뢰도 추정' 방법을 제시합니다. 이는 LLM의 추론 비용을 절감하기 위해 저렴한 로컬 모델로 쿼리를 라우팅하고, 어려운 경우에만 비싼 클라우드 호출을 사용하는 비용 통제 전략에 필수적입니다. 연구진은 평균 토큰 로그 확률(Average token log-probability)이 감독적 베이스라인과 비교하여 우수한 성능을 보였으며, 특히 분포 외 데이터에서 큰 이점을 입증했습니다.

핵심 포인트

• LLM의 추론 비용 절감을 위해 저렴한 로컬 모델 라우팅 전략이 중요해지고 있으며, 이를 위한 신뢰도 측정 방법이 필요합니다.
• 평균 토큰 로그 확률(Average token log-probability)은 감독적 훈련 데이터 없이도 높은 성능을 보여, 기존의 지도 학습 기반 베이스라인보다 우수하거나 동등한 결과를 보였습니다.
• 제안된 '리트리벌 조건부 자기 평가'는 지식 검색을 결합하여 로그 확률 방식 대비 더 낮은 지연 시간에서 AUROC를 향상시킬 수 있습니다.
• 감독적 베이스라인은 충분한 양의 라벨링 데이터로 훈련되더라도 제로샷 신호 추정 성능을 능가할 수 없음을 입증했습니다.