이미지-형태 대응을 위한 최적의 세그멘테이션 버디 (Best Segmentation Buddies)

대응 관계(correspondences)를 찾는 것은 컴퓨터 비전(computer vision) 및 그래픽스(graphics) 분야에서 근본적이고 광범위하게 연구된 문제입니다. 본 연구에서는 실제 환경의 이미지와 질감이 없는 3D 형상(3D shapes) 사이의 세그멘테이션 대 세그멘테이션 대응(segmentation-to-segmentation correspondence)을 추정하는, 아직 충분히 탐구되지 않은 과제를 조사합니다. 이 과제는 외관(appearance), 기하학적 구조(geometry), 시점(viewpoint)의 상당한 차이로 인해 매우 도전적입니다. 우리의 접근 방식은 이미지 세그먼트(image segment) 내의 픽셀(pixels)을 3D 형상의 대응하는 의미론적 부분(semantic part)에 있는 정점(vertices)과 연결함으로써 교차 모달리티 격차(cross-modality gap)를 해소합니다. 이를 달성하기 위해, 우리는 먼저 2D 비전 모델(2D vision model)로부터 추출된 깊은 시각적 특징(deep visual features)을 3D 형상 표면에 증류(distill)하여, 이미지 픽셀과 형상 정점 사이의 특징 유사도(feature similarity)를 계산할 수 있도록 합니다. 그다음, 가장 유사한 이미지 픽셀이 이미지 세그멘테이션(image segmentation) 영역 내에 있는 정점인 '최적의 세그멘테이션 버디(Best Segmentation Buddies)'를 식별하여, 의미론적으로 대응하는 형상 부분 내의 정점들을 신뢰성 있게 발견할 수 있도록 합니다. 마지막으로, 2D 이미지 세그멘테이션 모델로부터 증류된 3D 특징(3D features)을 활용하여 3D에서 형상을 직접 세그멘테이션함으로써 대응 프로세스를 부트스트래핑(bootstrapping)합니다. 우리는 광범위한 이미지-형상 쌍에 걸쳐 우리 접근 방식의 일반성과 강건성(robustness)을 입증하며, 정확하고 의미론적으로 유의미한 대응 관계를 보여줍니다. 우리 프로젝트 페이지는 https://threedle.github.io/bsb/ 입니다.