희소한 직접 시간 비행(Direct Time-of-Flight) 센서로부터의 조밀한 미터법 깊이 완성

요약

희소한 dToF 센서 데이터를 활용해 조밀한 미터법 깊이를 생성하는 일반화 가능한 프레임워크를 제안합니다. Vision Transformer와 마스크 결합 어텐션을 통해 RGB 이미지와 깊이 데이터를 효율적으로 융합하며, 시뮬레이션 파이프라인을 통해 뛰어난 제로샷 일반화 성능을 입증했습니다.

핵심 포인트

• 희소하고 노이즈가 많은 dToF 데이터를 조밀한 깊이 맵으로 변환
• 이중 분기 Vision Transformer와 마스크 결합 어텐션 구조 채택
• 확산 모델 없이 경량 디코더로 효율적인 깊이 재구성 구현
• 시뮬레이션 파이프라인을 통한 강력한 제로샷 일반화 성능 달성