MeshFM: 3D 형상 이해를 위해 필요한 것은 오직 2D 특징(2D Features)뿐이다
요약
MeshFM은 2D 시각적 파운데이션 모델의 특징을 3D로 증류하여 3D 주석 없이도 풍부한 특징을 추출하는 피드포워드 프레임워크입니다. 최적화 과정 없이 3D 특징을 직접 예측하며, 다양한 3D 다운스트림 태스크에서 뛰어난 성능을 입증했습니다.
핵심 포인트
- 3D 주석 없이 2D 특징만으로 3D 특징 필드 학습 가능
- 추론 시 별도의 최적화가 필요 없는 효율적인 피드포워드 방식
- 부분 분할, 밀집 대응, 메쉬 변형 등 다양한 태스크에 즉시 적용 가능
- 3D 지도 학습 방식과 대등한 성능 및 극단적 회전에 대한 견고함 확보
우리는 3D 입력으로부터 풍부한 특징(features)을 추출하기 위한 효율적인 피드포워드(feedforward) 프레임워크인 MeshFM을 제시합니다. 우리의 방법은 시각적 파운데이션 모델(visual foundation models)로부터 2D 특징(2D features)을 3D로 증류(distill)합니다. 우리는 추론(inference) 과정에서 최적화(optimization)를 요구하지 않고 3D 특징(3D features)을 직접 예측하도록 피드포워드 네트워크(feedforward network)를 학습시킵니다. 이 접근 방식은 2단계 학습 전략을 활용합니다. 첫째, 우리는 오직 2D 특징(2D feature) 지도(supervision)만을 사용하여 3D 공간의 특징 필드(feature field)를 최적화합니다. 둘째, 이 특징 필드(feature field)를 회귀(regress)하도록 네트워크를 학습시킵니다. 전체 과정은 3D 주석(3D annotation)을 전혀 필요로 하지 않으며, 대신 2D 파운데이션 모델(2D foundation models)의 강력한 정보에 의존합니다. 우리는 학습된 특징(features)이 부분 분할(part segmentation), 밀집 대응(dense correspondence), 메쉬 변형(mesh deformation)을 포함한 다운스트림 태스크(downstream tasks)에 즉시 적용될 수 있음을 입증합니다. 광범위한 실험을 통해, 오직 2D 지도(2D supervision)로만 학습된 MeshFM이 태스크별 미세 조정(task-specific fine-tuning) 없이도 3D 지도(3D supervision)로 명시적으로 학습된 방법들과 대등한 성능을 보임을 확인했습니다. 또한, 우리 모델은 입력 객체의 극단적인 회전(extreme rotations)에 대해 견고(robust)하도록 학습되었습니다. 프로젝트 페이지: https://threedle.github.io/MeshFM/
AI 자동 생성 콘텐츠
본 콘텐츠는 arXiv cs.GR (Graphics)의 원문을 AI가 자동으로 요약·번역·분석한 것입니다. 원 저작권은 원저작자에게 있으며, 정확한 내용은 반드시 원문을 확인해 주세요.
원문 바로가기