위성 Sim2Real 6D Pose Estimation을 위한 구성 요소 인지 구조 보존 스타일 전이

비협조적 위성(non-cooperative satellites)을 위한 단안 6D 포즈 추정 (Monocular 6D pose estimation)은 주석이 달린 학습 데이터에 크게 의존하지만, 신뢰할 수 있는 포즈 라벨과 구성 요소 수준의 마스크 (component-level masks)를 포함한 실제 위성 이미지를 대규모로 확보하는 것은 어렵습니다. 합성 렌더링 (Synthetic rendering)은 정확한 기하학적 주석을 제공할 수 있지만, 렌더링된 이미지와 실제 관측값 사이의 외관 차이 (appearance gap)로 인해 실제 도메인으로의 직접적인 전이가 제한됩니다. 본 논문은 위성 합성-실제 (synthetic-to-real) 데이터 구축을 위한 구성 요소 인지 구조 보존 스타일 전이 (component-aware structure-preserving style transfer) 프레임워크를 제시합니다. 이 방법은 보정된 실제 획득 (calibrated real acquisition), ArUco 기반 카메라 포즈 측정, CAD 렌더링 및 구성 요소 마스크를 통해 약하게 쌍을 이룬 (weakly paired) 실제-합성 샘플을 구축합니다. 그런 다음 라벨이 없는 실제 이미지에서 부위별 실제 도메인 스타일 코드 (part-wise real-domain style codes)를 추출하고, 마스크 정렬 변조 (mask-aligned modulation)를 통해 대응하는 합성 위성 영역에 주입합니다. 생성된 이미지가 다운스트림 감독 (downstream supervision)에 사용 가능하도록 유지하기 위해, 적대적 학습 (adversarial training)을 로컬 대조 일관성 (local contrastive consistency), 자기 규제 (self-regularization) 및 에지 보존 제약 (edge-preserving constraints)과 결합합니다. 실험은 보정된 설정에서 캡처된 5,000장의 렌더링된 위성 이미지와 100장의 실제 이미지로 수행되었습니다. 실제 이미지는 타겟 도메인 외관 참조 및 최종 평가 이미지를 제공하며, 다운스트림 GDRNet 포즈 추정기는 합성 이미지 또는 변환된 합성 이미지로만 학습됩니다. 대표적인 이미지 변환 (image-translation) 베이스라인과 비교했을 때, 제안된 방법은 FID 54.32 및 KID 0.048로 가장 낮은 이미지 분포 불일치 (image distribution discrepancy)를 달성했습니다. 이러한 타겟 도메인 적응 (target-domain adaptation) 설정에서 변환된 데이터를 사용하여 GDRNet을 학습했을 때, ADD 통과율 (ADD pass rate)은 0.260으로 향상되었고 AUC는 0.611로 향상되었습니다. 이러한 결과는 구성 요소 수준의 외관 전이가 시뮬레이션 기반의 기하학적 주석을 유지하면서, 고려된 보정 설정 내에서 위성 Sim2Real 포즈 추정을 개선할 수 있음을 나타냅니다.