근거 기반인가 추측인가? 블라인드 이미지 대조적 순위링킹을 통한 LVLM 신뢰도 추정

요약

본 논문은 대규모 비전-언어 모델(LVLM)이 시각적 근거 없이 언어 사전 지식만으로 자신감 있는 응답을 생성하는 '시각적 근거 부족' 문제를 해결하기 위한 새로운 신뢰도 추정 프레임워크인 BICR(Blind-Image Contrastive Ranking)을 제안합니다. BICR은 실제 이미지와 이미지를 검게 처리한 가상 시나리오의 숨겨진 상태를 대조적으로 추출하고, 이 차이를 활용하여 모델이 실제로 이미지에 의존했는지 여부를 판단하는 순위 손실로 정규화됩니다. 실험 결과, BICR은 다양한 LVLM 벤치마크에서 보정 및 판별 성능 모두에서 우수한 결과를 보여주었으며, 적은 파라미터로도 강력한 성능과 강건성을 입증했습니다.

핵심 포인트

• LVLM의 '시각적 근거 부족(visual ungroundedness)' 문제를 해결하기 위한 새로운 프레임워크 BICR을 제안함.
• BICR은 실제 이미지와 블랙아웃된 이미지를 대조적으로 사용하여 모델이 시각 정보에 의존했는지 여부를 판단합니다.
• 프레임워크는 순위 손실(ranking loss)을 통해 시각적 근거를 신뢰성의 중요한 신호로 인식하도록 학습됩니다.
• VQA, 객체 환각 탐지 등 다양한 벤치마크에서 BICR은 최고의 크로스-LVLM 평균 성능과 강력한 판별 이득을 달성했습니다.