프롬프트가 비전을 무시할 때: LVLM에서의 프롬프트 유도 환각

요약

대규모 비전-언어 모델(LVLMs)은 뛰어난 성능에도 불구하고, 시각적 입력에 근거하지 않은 '환각(hallucinations)' 문제에 취약합니다. 본 논문은 이 문제를 해결하기 위해 새로운 벤치마크인 HalluScope를 제안하고, 환각의 주원인이 텍스트 기반 사전 지식(textual priors) 과도한 의존성임을 밝혀냈습니다. 이를 개선하기 위한 방법론으로, 선호도 최적화 (Preference Optimization) 기법을 활용하는 HalluVL-DPO 프레임워크를 제시합니다. 이 방법을 통해 모델이 시각적으로 근거 있는(

핵심 포인트

• LVLMs의 환각 현상은 비전 백본이나 언어 컴포넌트 중 어느 것이 주원인인지 불분명했으나, 본 연구는 텍스트 기반 사전 지식 의존성이 주요 원인임을 밝혀냈습니다.
• 새로운 평가 벤치마크 'HalluScope'를 통해 환각의 정도와 유발 요인을 체계적으로 분석할 수 있게 되었습니다.
• 환각을 줄이기 위해, 선호도 최적화(Preference Optimization) 기반의 HalluVL-DPO 프레임워크를 제안하여 LVLMs 미세 조정 방법을 제시했습니다.
• HalluVL-DPO로 튜닝된 모델은 특정 환각 실패 모드를 효과적으로 완화하면서 다른 비전 능력 평가에서도 성능을 유지하거나 향상시킵니다.