VLM Judges Can Rank but Cannot Score: Task-Dependent Uncertainty in Multimodal

요약

비언어 모델(VLMs)이 다중 모드 시스템의 자동 판정자로서 사용되지만, 이들의 점수는 신뢰할 수 있는 지표가 아닙니다. 본 연구는 컨포멀 예측(conformal prediction)을 사용하여 VLM의 점수를 보정된 예측 구간으로 변환함으로써 이러한 문제를 해결합니다. 분석 결과, 평가 불확실성은 작업 유형에 따라 크게 달라지며, 특히 차트나 수학 추론 같은 복잡한 작업에서 신뢰 구간이 더 넓게 확장됨을 보여줍니다.

핵심 포인트

• VLM의 점수 자체는 신뢰성이 낮으므로, 컨포멀 예측을 통해 보정된 예측 구간(calibrated prediction interval)으로 변환해야 합니다.
• 평가 불확실성은 작업 유형에 따라 크게 달라지며, 미학이나 자연 이미지보다 차트나 수학 추론 같은 복잡한 작업에서 더 넓은 신뢰 구간이 나타납니다.
• VLM 판정자는 순위(ranking)는 잘 수행하지만 절대 점수(scoring)의 신뢰도가 낮아지는 '순위-점수 분리' 현상이 발생할 수 있습니다.
• 신뢰 구간의 너비는 작업 난이도와 주석 품질에 크게 의존하며, 고품질의 다중 주석자 데이터가 더 좁고 정확한 구간을 제공합니다.