자유로운 기하학적 사전 정보로서의 도로 지도: GeoFuse를 이용한 날씨 불변 드론 지리 위치 식별 (Geo-Localization)

드론 뷰 지리 위치 식별 (Drone-view geo-localization)은 종종 악천후(예: 비, 눈, 안개) 조건에서 촬영된 쿼리 드론 이미지와 지리 태그가 지정된 위성 이미지 갤러리를 매칭하는 것을 목표로 합니다. 노이즈, 가시성 저하, 부분적 폐쇄(occlusions)와 같이 날씨로 인해 발생하는 드론 뷰의 저하 현상은 본질적인 교차 뷰 도메인 간극 (cross-view domain gap)을 심각하게 악화시킵니다. 기존 방법들은 주로 날씨 특화 아키텍처나 데이터 증강 (data augmentations)에 의존해 왔으나, 추가 비용이 거의 들지 않으면서도 강력하고 본질적으로 날씨에 불변하는 기하학적 레이아웃 단서(예: 도로 네트워크 및 건물 윤곽)를 제공하는 쉽게 사용 가능한 모달리티(modality)인 도로 지도 데이터를 크게 간과해 왔습니다.

우리는 정밀하게 정렬된 도로 지도 타일을 위성 이미지와 통합하여 더욱 변별력 있고 날씨에 탄력적인 표현 (representations)을 생성하는 교차 모달 융합 프레임워크 (cross-modal fusion framework)인 GeoFuse를 소개합니다. 먼저, 기존의 University-1652 및 DenseUAV 벤치마크를 지리적으로 정렬된 도로 지도로 증강하여 기상 변화에 강건한 구조적 사전 정보 (structural priors)를 제공합니다. 이를 바탕으로, 토큰 수준 (token-level) 및 채널 수준 (channel-level) 상호작용을 통해 위성 및 도로 지도 특징을 결합하는 유연한 융합 모듈을 제안하며, 인스턴스별로 모달리티 기여도를 적응적으로 가중치를 두는 경량화된 동적 게이팅 메커니즘 (dynamic gating mechanism)을 포함합니다. 마지막으로, 날씨로 인해 저하된 드론 특징과 융합된 위성-도로 지도 표현 사이의 강건한 정렬을 촉진하기 위해 클래스 수준 교차 뷰 대조 학습 (class-level cross-view contrastive learning)을 채택합니다.

다양한 날씨 조건 하에서의 광범위한 실험 결과, GeoFuse는 일관되게 최신 기술 (state-of-the-art) 방법들을 능가하였으며, University-1652 및 DenseUAV 벤치마크에서 각각 +3.46% 및 +23.18%의 Recall@1 정확도를 달성했습니다.