Fast-FoundationStereo: 실시간 프레임 속도에서 제로샷 일반화가 가능한 스테레오 매칭 모델군
요약
Fast-FoundationStereo는 기존 모델 대비 10배 이상 빠른 실시간 프레임 속도를 달성하면서도 높은 정확도의 제로샷 일반화가 가능한 스테레오 매칭 모델군입니다. 지식 증류, 블록별 신경망 구조 탐색, 구조적 가지치기 등의 기법을 활용하여 효율성과 성능을 극대화했습니다.
핵심 포인트
- 실시간 프레임 속도에서 제로샷 일반화를 구현한 스테레오 매칭 모델군입니다.
- 지식 증류를 통해 하이브리드 백본을 단일하고 효율적인 학생 모델로 압축했습니다.
- 블록별 신경망 구조 탐색과 가지치기를 적용하여 최적의 설계를 했습니다.
- 자동 유사 라벨링 파이프라인으로 140만 개의 야외 스테레오 쌍 데이터를 확보했습니다.
Fast-FoundationStereo는 FoundationStereo보다 10배 이상 빠른 실시간 프레임 속도에서 비교 가능한 정확도로 제로샷 일반화(zero-shot generalization)를 달성하는 스테레오 매칭 모델군입니다.
- 하이브리드 백본을 단일하고 효율적인 학생 모델(student)으로 압축하기 위해 지식 증류(knowledge distillation) 사용
- 레이턴시 예산 내에서 최적의 비용 필터링 설계를 위한 블록별 신경망 구조 탐색(Blockwise neural architecture search)
- 구조적 가지치기(Structured pruning)를 통해 반복적인 정제 모듈의 중복성 제거
- 자동 유사 라벨링 파이프라인을 사용하여 훈련을 위한 야외 스테레오 쌍 140만 개(1.4M in-the-wild stereo pairs) 선별
AI 자동 생성 콘텐츠
본 콘텐츠는 X @githubprojects (자동 발견)의 원문을 AI가 자동으로 요약·번역·분석한 것입니다. 원 저작권은 원저작자에게 있으며, 정확한 내용은 반드시 원문을 확인해 주세요.
원문 바로가기0