희소한 직접 시간 비행(Direct Time-of-Flight) 센서로부터의 조밀한 미터법 깊이 완성
요약
희소한 dToF 센서 데이터를 활용해 조밀한 미터법 깊이를 생성하는 일반화 가능한 프레임워크를 제안합니다. Vision Transformer와 마스크 결합 어텐션을 통해 RGB 이미지와 깊이 데이터를 효율적으로 융합하며, 시뮬레이션 파이프라인을 통해 뛰어난 제로샷 일반화 성능을 입증했습니다.
핵심 포인트
- 희소하고 노이즈가 많은 dToF 데이터를 조밀한 깊이 맵으로 변환
- 이중 분기 Vision Transformer와 마스크 결합 어텐션 구조 채택
- 확산 모델 없이 경량 디코더로 효율적인 깊이 재구성 구현
- 시뮬레이션 파이프라인을 통한 강력한 제로샷 일반화 성능 달성
직접 시간 비행 (Direct Time-of-Flight, dToF) 센서는 매우 정확한 미터법 깊이 (metric depth)를 제공하며, 까다로운 실제 환경 조건에서 간접 ToF 시스템보다 더 견고합니다. 그러나 높은 제조 비용과 제한된 포토다이오드 어레이 (photodiode array) 크기로 인해 생성되는 깊이 맵 (depth maps)은 극도로 희소하고 (sparse), 저해상도이며, 노이즈가 많아 조밀한 미터법 깊이를 요구하는 VR/XR, 로보틱스 및 3D 인지 작업에 부적합합니다. 기존의 단안 (monocular) 및 깊이 완성 (depth completion) 방법들은 dToF 장치의 고유한 샘플링 패턴과 하드웨어 아티팩트 (artifacts)를 처리하는 데 어려움을 겪으며, 심각한 희소성이나 노이즈 상황에서 성능이 크게 저하되는 경우가 많습니다. 본 논문에서는 다양한 센서 유형, 희소성 수준 및 노이즈 조건에서 작동할 수 있는, 희소한 dToF 측정값으로부터 조밀한 미터법 깊이를 완성하기 위한 일반화 가능한 프레임워크를 제시합니다. 우리의 모델은 RGB 이미지와 희소한 dToF 측정값을 별도로 처리하는 깊이 가이드형 이중 분기 비전 트랜스포머 (Vision Transformer) 인코더를 채택하며, 마스크 결합 어텐션 (masked joint attention) 모듈을 통해 깊이 토큰 (depth tokens)이 이미지 특징에 의해 덮어쓰여지지 않으면서도 이미지 특징을 안정적으로 가이드할 수 있도록 합니다. 경량 디코더 (lightweight decoder)는 확산 기반 (diffusion-based) 또는 정교한 후처리 (refinement-heavy post-processing) 없이 조밀한 미터법 깊이를 효율적으로 재구성합니다. 쌍을 이룬 학습 데이터의 부족 문제를 해결하기 위해, 우리는 하드웨어 유발 저하 (hardware-induced degradation), 불규칙한 희소성 및 실제적인 노이즈 분포를 포함하여 플래시 (flash), sub-VGA 플래시 및 회전형 센서의 특성을 재현하는 포괄적인 dToF 시뮬레이션 파이프라인을 도입합니다. 합성 데이터 (synthetic data)만으로 완전히 학습된 우리의 모델은 6개의 데이터셋과 3개의 실제 dToF 장치에 대해 강력한 제로샷 일반화 (zero-shot generalization) 성능을 달성하였으며, 정확도와 계산 효율성 모두에서 최첨단 (state-of-the-art) 방식들을 능가합니다. 이는 희소한 직접 ToF 센서로부터 조밀한 미터법 깊이를 완성하기 위한 견고하고 실용적인 솔루션을 구축합니다. 우리의 코드와 모델은 오픈 소스로 공개되어 있습니다. https://vclab.kaist.ac.kr/cvpr2026p3 를 참조하십시오.
AI 자동 생성 콘텐츠
본 콘텐츠는 arXiv cs.GR (Graphics)의 원문을 AI가 자동으로 요약·번역·분석한 것입니다. 원 저작권은 원저작자에게 있으며, 정확한 내용은 반드시 원문을 확인해 주세요.
원문 바로가기