Vision Language Models에서의 문화적 시대착오 및 시간적 추론에 대하여

요약

본 연구는 Vision-Language Models (VLMs)가 문화유산 자료를 해석할 때 발생하는 '문화적 시대착오(cultural anachronism)' 문제를 식별하고, 이를 정량적으로 평가하기 위한 벤치마크인 TAB-VLM을 제안합니다. 이 벤치마크는 선사시대부터 현대까지의 인도 문화 유물 1,600개를 대상으로 시간적 추론 능력을 측정하며, 최첨단 모델들조차 낮은 정확도를 보여 VLM이 역사적 맥락 이해에 중대한 한계를 가지고 있음을 입증합니다.

핵심 포인트

• VLMs가 문화유산 해석 시 '문화적 시대착오'를 일으키는 근본적인 문제가 존재한다.
• TAB-VLM이라는 새로운 벤치마크를 도입하여, 역사적 유물에 대한 시간적 추론 능력을 체계적으로 평가할 수 있게 했다.
• 최첨단 모델(GPT-5.2 포함)조차 전체 정확도가 58.7%에 그치는 등 VLM의 성능 격차가 크고 중대한 한계를 보인다.
• 이러한 시대착오 문제는 모델의 규모와 관계없이 나타나며, 특히 비서구권 시각 문화 해석에서 두드러진다.