VLM의 시각적 재검토 능력 검증: 시각적 재검토의 환상과 VisualSwap 프레임워크

요약

본 연구는 VLM이 '이미지를 다시 확인하겠다'는 자기 성찰적 진술을 할 때 실제로 시각적 정보를 재검토하는지 VisualSwap 프레임워크를 통해 검증합니다. 실험 결과, 모델들은 이미지가 바뀌어도 이를 인지하지 못하는 경향이 크며, 특히 사고 모델(thinking models)이 지시 모델보다 더 취약하고 모델 규모를 키워도 이 문제가 해결되지 않음을 밝혀냈습니다.

핵심 포인트

• VisualSwap 프레임워크와 VS-Bench 데이터셋을 통해 VLM의 시각적 재검토 능력을 테스트함
• Qwen3-VL, Kimi-VL, ERNIE-VL 등 주요 모델들이 이미지 교체를 제대로 인지하지 못해 정확도가 최대 60%까지 하락함
• 사고 모델(thinking models)이 일반 지시 모델보다 시각적 변화 인지에 약 3배 더 취약함
• 사용자의 다회차 지시는 시각적 접지(visual grounding)를 회복시키지만, 모델 스스로 생성한 성찰적 진술은 어텐션(Attention)을 높이지 못함