불확실성 정량화 (Uncertainty Quantification)를 통한 오류 예측에서의 모호성의 역할

오류 예측 (Error Prediction), 즉 모델의 출력이 올바른지 여부를 예측하는 작업은 일반적으로 불확실성 정량화 (Uncertainty Quantification, UQ)를 통해 다루어집니다. 그러나 불확실성 지표 (uncertainty metrics)가 모델의 지식이나 예측 능력의 부족을 포착하는 동안, 이는 모델 입력과 문맥에 내재된 우연적 불확실성 (aleatoric uncertainty) 또한 반영합니다. 본 논문은 입력의 모호성 (ambiguity)을 UQ 신호로부터 분리함으로써 대규모 언어 모델 (Large Language Models, LLMs)의 오류 예측을 개선하는 방법을 제시합니다. 우리는 6가지 UQ 지표를 사용하여 질의응답 (Question Answering, QA) 작업에 대해 실험을 수행하였으며, UQ 지표가 여러 개의 그럴듯한 답이 있는 질문보다 모호하지 않은 사례 (unambiguous instances)에서의 오류를 더 잘 예측한다는 것을 보여줍니다. 우리는 게이트 전문가 (Gated Experts) 및 선택적 예측 (Selective Prediction)을 사용하여 정답 및 예측된 모호성 레이블을 오류 예측 파이프라인에 통합합니다. 우리는 모호성 정보가 모델 제품군, 학습 및 평가 패러다임, 데이터셋 (소위 모호하지 않다고 여겨지는 데이터셋 포함), 그리고 우연적 불확실성 (aleatoric uncertainty)의 원천 전반에 걸쳐 오류 예측 점수를 향상시킨다는 것을 발견하였으며, 표준 데이터셋에서 개별 UQ 지표에 대해 10포인트 이상의 PRR 향상을 달성했습니다.