텍스트 감독(Textual Supervision)이 Vision-Language Models의 지리공간 표현(Geospatial

지리공간 이해(Geospatial understanding)는 이미지 위치 추정(image geolocation) 및 공간 추론(spatial reasoning)과 같은 작업들을 위한 머신러닝(machine learning) 시스템 개발에 있어 매우 중요하지만 아직 충분히 탐구되지 않은 차원입니다. 본 연구에서는 세 가지 모델 제품군이 획득하는 지리공간 표현(geospatial representations)을 분석합니다: 시각 전용 아키텍처(vision-only architectures, 예: ViT), 시각-언어 모델(vision-language models, 예: CLIP), 그리고 대규모 멀티모달 파운데이션 모델(large-scale multimodal foundation models, 예: LLaVA, Qwen, Gemma). 국지화 가능성(localizability) 정도에 따라 그룹화된 사람, 랜드마크, 일상적인 사물을 포함한 이미지 클러스터 전반에 걸쳐 평가함으로써, 우리는 공간 정확도(spatial accuracy)에서의 체계적인 격차를 밝혀내고 텍스트 감독(textual supervision)이 지리공간 표현의 학습을 향상시킨다는 것을 보여줍니다. 우리의 연구 결과는 공간적 맥락(spatial context)을 인코딩하기 위한 효과적인 보완 양식(complementary modality)으로서 언어의 역할과, 지리공간 AI(geospatial AI)를 발전시키기 위한 핵심 방향으로서 멀티모달 학습(multimodal learning)의 중요성을 시사합니다.