AmbiSteer: 비전-언어 모델에서 모호성 인식 응답을 선택적으로 유도하기
요약
본 논문은 VLM이 시각적 증거가 불충분할 때 과신하는 문제, 특히 참조 모호성 문제를 다룹니다. 연구진은 입력의 모호성을 예측하고 응답 방식을 선택적으로 유도하는 경량 프레임워크인 AmbiSteer를 제안했습니다. 이 방법론을 통해 모델 전반에 걸쳐 적절하게 처리되는 입력 비율을 59.0%에서 77.0%로 높이는 성과를 보였습니다.
핵심 포인트
- VLM은 시각적 증거가 부족할 때 과신하여 단정적인 답변을 내놓는 경향이 있습니다.
- AmbiSteer는 선형 분류기를 사용하여 입력의 모호성을 예측하고 응답 방향을 조건화합니다.
- 프롬프팅과 활성화 스티어링 결합은 명확화 및 열거 행동 증가에 효과적입니다.
- 본 연구는 불확실한 멀티모달 환경에서 모델 과신을 줄이는 기반 기술을 제시했습니다.
AI 자동 생성 콘텐츠
본 콘텐츠는 arXiv cs.CL의 원문을 AI가 자동으로 요약·번역·분석한 것입니다. 원 저작권은 원저작자에게 있으며, 정확한 내용은 반드시 원문을 확인해 주세요.
원문 바로가기