프롬프트가 비전을 무시할 때: LVLM에서의 프롬프트 유도 환각

대규모 시각 언어 모델(Large Vision-Language Models, LVLMs)의 역량에서 인상적인 발전에도 불구하고, 이 시스템들은 여전히 환각(hallucinations), 즉 시각적 입력에 근거하지 않은 출력을 생성하는 취약점을 안고 있습니다. 기존 연구에서는 LVLM에서의 환각을 비전 백본(vision backbone)의 한계나 언어 구성 요소의 우세함과 같은 요인으로 돌려왔지만, 이러한 요인들의 상대적 중요성은 여전히 불분명합니다.

이러한 모호성을 해소하기 위해, 우리는 다양한 요인이 환각을 유발하는 정도를 더 잘 이해할 수 있는 벤치마크인 HalluScope를 제안합니다. 우리의 분석에 따르면, 환각은 주로 텍스트적 사전 지식(textual priors)과 배경 지식에 과도하게 의존하는 데서 비롯되며, 특히 텍스트적 지침을 통해 도입된 정보에서 두드러집니다. 텍스트적 지침의 사전 지식으로 인해 유발되는 환각을 완화하기 위해, 우리는 오프-더-쉘프(off-the-shelf) LVLM을 보다 시각적으로 근거가 있는 응답 방향으로 미세 조정하는 프레임워크인 HalluVL-DPO를 제안합니다. HalluVL-DPO는 우리가 구축한 큐레이션된 학습 데이터셋을 사용하여 선호도 최적화(preference optimization)를 활용함으로써, 모델이 환각된 응답보다 근거가 있는 응답을 선호하도록 유도합니다. 우리는 우리의 최적화된 모델이 목표로 하는 환각 실패 모드를 효과적으로 완화하는 동시에, 다른 환각 벤치마크 및 시각 역량 평가에서 성능을 유지하거나 개선함을 입증합니다. 재현성과 추가 연구를 지원하기 위해, 우리는 평가 벤치마크, 선호도 학습 데이터셋, 그리고 코드를 https://pegah-kh.github.io/projects/prompts-override-vision/ 에서 공개할 예정입니다.