CORDIAL: 소수 레이블로부터 순서형 LLM 출력을 보정하기

대규모 언어 모델(LLM)은 텍스트를 순서가 있는 스케일 위의 분포로 변환할 수 있지만, 이 분포는 노이즈 측정값입니다. 포화되거나, 압축되거나, 과장되었으며, 일관된 방향으로 편향되어 있습니다. 우리는 CORDIAL을 제안하며, 이는 모델의 출력을 참 레이블에 대한 노이즈 측정값으로 간주하고 다섯 개의 해석 가능한 매개변수로 구성된 채널로 이를 보정합니다. 이 채널은 사후 분포(posterior)를 소수의 레이블로부터 평균화하기에 충분히 작으며, 그 결과 얻어지는 보정이 1차 확률적 순서(first-order stochastic order)를 유지함을 증명합니다. Amazon 리뷰와 CMU-MOSEI 스크립트를 네 개의 LLM으로 테스트했을 때, CORDIAL은 5개에서 100개의 레이블을 사용하는 80개 설정 중 76개에서 9개의 보정기 중에서 가장 낮은 로그 손실(log loss)을 기록했습니다. 또한, 20개의 레이블과 주요 7B 리더를 사용하여 28~54개의 레이블을 사용한 가장 강력한 기준선에 필적합니다. 동일한 사후 분포는 다른 작업에서 사전 확률(priors)을 학습하고 여러 LLM을 융합할 수 있게 합니다. 디리클레 보정(Dirichlet calibration)과 같은 제한 없는 보정기는 보정 세트가 수백 또는 수천 개로 커질 때만 이를 능가합니다.