Sat3DGen: 단일 위성 이미지로부터의 포괄적인 거리 수준 3D 장면 생성

요약

본 논문은 단일 위성 이미지로부터 거리 수준(street-level)의 포괄적이고 정확한 3D 장면을 생성하는 Sat3DGen 방법론을 제안합니다. 기존 모델들이 기하학적 충실도와 의미론적 다양성 사이에서 트레이드오프를 보이는 문제를 해결하기 위해, Sat3DGen은 새로운 기하학적 제약 조건과 투영 시점 학습 전략을 통합하여 '기하학 우선(geometry-first)' 패러다임을 강화했습니다. 이 방법론은 3D 정확도와 사진 실사성 모두에서 기존 최고 성능 모델 대비 비약적인 발전을 보여주었으며, 다양한 다운스트림 애플리케이션에 활용 가능함을 입증했습니다.

핵심 포인트

• Sat3DGen은 단일 위성 이미지 기반의 거리 수준 3D 장면 생성 문제를 해결하기 위해 기하학적 제약을 우선하는 방법론을 도입했다.
• 기존 모델들의 한계점(높은 충실도 vs. 풍부한 콘텐츠)을 극복하며, 3D 정확도와 사진 실사성을 동시에 향상시켰다.
• 새롭게 구축된 VIGOR-OOD 벤치마크에서 기하학적 RMSE를 기존 대비 크게 개선했다.
• 별도의 이미지 품질 모듈 없이도 FID 점수를 현저히 낮춰 높은 사진 실사성을 달성했으며, 다양한 다운스트림 작업에 활용 가능하다.
• 코드와 결과는 공개되어 연구 커뮤니티의 검증을 거쳤다.