OccDepth: 3D Semantic Occupancy Network를 위한 깊이 인식 방법

뉴스

• 2023/03/30 GeForce RTX 2080 Ti에서 학습된 모델 출시.
• 2023/02/28 초기 코드 공개. 스테레오 이미지와 RGB-D 이미지를 모두 입력으로 지원함.
• 2023/02/28 Arxiv에 논문 게재.
• 2023/02/17 데모 출시.

초록 (Abstract)

본 논문에서 우리는 스테레오 이미지(또는 RGBD 이미지)의 암시적 깊이 정보를 완전히 활용하여 3D 기하학적 구조 복구를 돕는 최초의 스테레오 SSC 방법인 OccDepth를 제안합니다. Stereo Soft Feature Assignment (Stereo-SFA) 모듈을 제안하여 스테레오 이미지를 통해 상관관계를 암시적으로 학습함으로써 3D 깊이 인식 특징(depth-aware features)을 더 잘 융합합니다. 특히, 입력이 RGBD 이미지인 경우, 원본 RGB 이미지와 깊이 맵을 통해 가상 스테레오 이미지를 생성할 수 있습니다. 또한, Occupancy Aware Depth (OAD) 모듈을 사용하여 사전 학습된 깊이 모델(pre-trained depth models)의 지식 증류(knowledge distillation)를 통해 기하학 인식 3D 특징을 얻습니다.

비디오 데모

KITTI-08에서 Ground Truth와 비교한 Mesh 결과:

GeForce RTX 2080 Ti에서 학습된 모델을 제공합니다:

참고: 더 나은 결과를 얻으려면 share_2d_backbone_gradient = false, backbone_2d_name = tf_efficientnet_b7_ns 및 GPU 메모리가 더 많이 필요한 feature = feature_2d_oc = 64 (SemanticKITTI)를 설정해야 합니다.

정성적 결과

그림 1: 깊이 인식(depth-aware) 유무에 따른 RGB 기반 시맨틱 장면 완성 (Semantic Scene Completion). (a) 제안하는 OccDepth 방법은 더 작고 먼 물체를 감지할 수 있습니다. (b) 제안하는 OccDepth 방법이 도로를 더 잘 완성합니다.

SemanticKITTI에서의 정량적 결과

SemanticKITTI에서의 상세 결과.

기준선과의 비교.

사용법

환경 설정 (Environment)

1. conda 환경 생성:

conda create -y -n occdepth python=3.7
conda activate occdepth
conda install pytorch==1.13.1 torchvision==0.14.1 torchaudio==0.13.1 pytorch-cuda=11.7 -c pytorch -c nvidia

2. 의존성 설치:

pip install -r requirements.txt
conda install -c bioconda tbb=2020.2

준비 (Preparing)

SemanticKITTI

• kitti 오도메트리 및 시맨틱 데이터셋 다운로드

  • SemanticKITTI 복셀 데이터 (700 MB).
  • KITTI 오도메트리 벤치마크 RGB 이미지 (컬러, 65 GB) 및 KITTI 오도메트리 벤치마크 보정 데이터 (보정 파일, 1 MB)

• 전처리된 깊이(depth) 다운로드

  • KITTI_Odometry_Stereo_Depth

• 전처리된 kitti 시맨틱 데이터

  복사

cd OccDepth/
python occdepth/data/semantic_kitti/preprocess.py data_root="/path/to/semantic_kitti" data_preprocess_root="/path/to/kitti/preprocess/folder"

### NYUv2
- NYUv2 데이터셋 다운로드
    - [NYUv2](https://www.rocq.inria.fr/rits_files/computer-vision/monoscene/nyu.zip)

- 전처리된 NYUv2 데이터
    ``` bash
cd OccDepth/
python occdepth/data/NYU/preprocess.py data_root="/path/to/NYU/depthbin"
data_preprocess_root="/path/to/NYU/preprocess/folder"

설정 (Settings)

1. env_{dataset}.sh에서 DATA_LOG, DATA_CONFIG 설정, 예시:
   복사

##examples
export DATA_LOG=$workdir/logdir/semanticKITTI
export DATA_CONFIG=$workdir/occdepth/config/semantic_kitti/multicam_flospdepth_crp_stereodepth_cascadecls_2080ti.yaml

2. 설정 파일 (occdepth/config/xxxx.yaml)에서 `data_root`, `data_preprocess_root` 및 `data_stereo_depth_root` 설정, 예시:
    ``` yaml
##examples
data_root: '/data/dataset/KITTI_Odometry_Semantic'
data_preprocess_root: '/data/dataset/kitti_semantic_preprocess'
...

추론 (Inference)

평가 (Evaluation)

cd OccDepth/
source env_{dataset}.sh
## 학습된 모델을 OccDepth/trained_models/occdepth.ckpt로 이동합니다.
...

학습 (Training)

cd OccDepth/
source env_{dataset}.sh
## 4개의 GPU와 각 GPU당 배치 크기는 1입니다.
...

라이선스 (License)

이 저장소는 LICENSE 파일에 명시된 Apache 2.0 라이선스 하에 공개되었습니다.

감사의 말 (Acknowledgements)

저희의 코드는 다음 우수한 오픈 소스 프로젝트들을 기반으로 합니다:

• MonoScene
• SSC
• UVTR
• CaDDN
• BEVDepth

이 모든 프로젝트에 깊이 감사드립니다!

관련 저장소 (Related Repos)

• https://github.com/wzzheng/TPVFormer
• https://github.com/FANG-MING/occupancy-for-nuscenes
• https://github.com/nvlabs/voxformer

인용 (Citation)

본 프로젝트가 연구에 유용하다고 생각되시면, 다음을 인용해 주시기 바랍니다:

@article{miao2023occdepth,
Author = {Ruihang Miao and Weizhou Liu and Mingrui Chen and Zheng Gong and Weixin Xu and Chen Hu and Shuchang Zhou},
Title = {OccDepth: A Depth-Aware Method for 3D Semantic Scene Completion},
... 

문의 (Contact)

궁금한 점이 있으시면, 이슈를 열거나 [email protected] 또는 [email protected]으로 연락 주십시오.