관계가 끊어질 때: 회전과 노이즈 하에서 비전-언어 모델의 관계 환각 분석

요약

본 논문은 비전-언어 모델(VLMs)이 객체 간 상호작용 추론에 취약한 '관계 환각' 문제를 다룹니다. 특히 이미지의 회전이나 노이즈 같은 시각적 왜곡이 관계 이해 능력을 크게 저하시킨다는 것을 실험적으로 입증했습니다. 연구진은 프롬프트 기반 전처리 전략을 평가했지만, 이들이 근본적인 환각 문제를 완전히 해결하지 못하며, 더 견고한 기하학적 인식을 갖춘 VLM 개발의 필요성을 제기합니다.

핵심 포인트

• VLMs는 객체 간 상호작용 추론에 필요한 '관계 환각(relation hallucination)' 문제에 취약하다.
• 이미지 회전이나 노이즈 같은 경미한 시각적 왜곡만으로도 모델의 관계 이해 능력이 현저히 저하된다.
• 프롬프트 기반 전처리 및 증강 전략은 부분적인 개선 효과를 보였으나, 환각 문제를 근본적으로 해결하지 못했다.
• 연구 결과는 VLM이 감각적 견고성(perceptual robustness)과 관계 이해 능력 사이의 간극을 가지고 있음을 보여준다.