Vision Language Models에서의 문화적 시대착오 및 시간적 추론에 대하여

Vision-Language Models (VLMs)는 디지털 아카이브부터 교육 플랫폼에 이르기까지 문화유산 자료에 점점 더 많이 적용되고 있습니다. 본 연구는 이러한 모델들이 역사적 유물을 해석하는 방식에서 발생하는 근본적인 문제를 식별합니다. 우리는 이 현상을 문화적 시대착오 (cultural anachronism)로 정의하며, 이는 역사적 대상들을 시간적으로 부적절한 개념, 재료 또는 문화적 프레임워크를 사용하여 오해하는 경향을 의미합니다. 이 현상을 정량화하기 위해, 우리는 선사 시대부터 현대에 이르는 1,600개의 인도 문화 유물을 대상으로 시간적 추론 (temporal reasoning)을 평가하도록 설계된 6개 카테고리, 600개 질문의 데이터셋인 Vision-Language Models를 위한 시간적 시대착오 벤치마크 (Temporal Anachronism Benchmark for Vision-Language Models, TAB-VLM)를 도입합니다. 10개의 최첨단 (state-of-the-art) 모델에 대한 체계적인 평가 결과, 우리의 벤치마크에서 상당한 결함이 드러났으며, 가장 우수한 모델 (GPT-5.2)조차 전체 정확도 58.7%만을 달성했습니다. 이러한 성능 격차는 다양한 아키텍처와 규모 전반에 걸쳐 지속되며, 이는 문화적 시대착오가 모델 크기와 관계없이 시각적 AI 시스템의 중대한 한계임을 시사합니다. 이러한 발견은 현재 VLM의 능력과 문화유산 자료를 정확하게 해석하기 위한 요구 사항 사이의 격차를 강조하며, 특히 학습 데이터에서 과소 대표된 비서구권 시각 문화에서 더욱 두드러집니다. 우리의 벤치마크는 역사적 유물과 상호작용하는 멀티모달 (multimodal) AI 시스템의 시간적 인지 능력을 향상시키기 위한 토대를 제공합니다. 데이터셋과 코드는 프로젝트 페이지에서 확인할 수 있습니다.