Sat3DGen: 단일 위성 이미지로부터의 포괄적인 거리 수준 3D 장면 생성

단일 위성 이미지로부터 거리 수준(street-level)의 3D 장면을 생성하는 것은 매우 중요하지만 도전적인 과제입니다. 현재의 방법들은 극명한 트레이드오프(trade-off)를 보여줍니다. 기하학적 색채화(geometry-colorization) 모델은 높은 기하학적 충실도(geometric fidelity)를 달성하지만, 일반적으로 건물에 집중되어 있으며 의미론적 다양성(semantic diversity)이 부족합니다. 반대로, 프록시 기반(proxy-based) 모델은 피드포워드(feed-forward) 이미지-to-3D 프레임워크를 사용하여 기하학(geometry)과 질감(texture)을 공동으로 학습함으로써 전체적인 장면을 생성하며, 이 과정은 풍부한 콘텐츠를 산출하지만 기하학적 구조가 거칠고 불안정합니다. 우리는 이러한 기하학적 실패의 원인이 위성-거리 데이터에 내재된 극단적인 시점 차이(viewpoint gap)와 희소하고 일관되지 않은 지도 학습(supervision) 때문이라고 판단합니다. 우리는 이러한 근본적인 과제들을 해결하기 위해 기하학 우선(geometry-first) 방법론을 구현한 Sat3DGen을 소개합니다. 이 방법론은 새로운 기하학적 제약 조건(geometric constraints)을 투영 시점(perspective-view) 학습 전략과 통합함으로써 피드포워드 패러다임을 강화하며, 기하학적 오류의 주요 원인에 명시적으로 대응합니다. 이러한 기하학 중심 전략은 3D 정확도와 사진 실사성(photorealism) 모두에서 비약적인 발전을 가져옵니다. 검증을 위해, 우리는 먼저 VIGOR-OOD 테스트 세트를 고해상도 DSM 데이터와 쌍을 이루어 새로운 벤치마크를 구축했습니다. 이 벤치마크에서 우리의 방법은 기하학적 RMSE를 6.76m에서 5.20m로 개선했습니다. 결정적으로, 이러한 기하학적 도약은 별도의 맞춤형 이미지 품질 모듈을 사용하지 않았음에도 불구하고, 기존의 선도적인 방법인 Sat2Density++와 비교했을 때 Fréchet Inception Distance (FID)를 $\sim$40에서 19로 감소시키며 사진 실사성을 높였습니다. 우리는 의미론적 지도-to-3D 합성(semantic-map-to-3D synthesis), 다중 카메라 비디오 생성, 대규모 메싱(large-scale meshing), 그리고 비지도 단일 이미지 수치 표면 모델(Digital Surface Model, DSM) 추정 등 다양한 다운스트림 애플리케이션을 통해 우리의 고품질 3D 에셋의 다재다능함을 입증합니다. 코드는 https://github.com/qianmingduowan/Sat3DGen에 공개되었습니다.