이미지-형태 대응을 위한 최적의 세그멘테이션 버디 (Best Segmentation Buddies)

원문 발행 2026. 05. 18. 19:32원문 언어 영어AI 한국어 번역arXiv cs.GR (Graphics) 원문 보기

요약

본 연구는 외관, 기하학적 구조, 시점의 차이가 큰 2D 이미지와 3D 형상 간의 세그멘테이션 대응 관계를 추정하는 새로운 방법을 제안합니다. 2D 비전 모델의 시각적 특징을 3D 형상 표면에 증류하여 픽셀과 정점 사이의 유사도를 계산하고, 이를 통해 '최적의 세그멘테이션 버디'를 식별합니다. 최종적으로 증류된 3D 특징을 활용해 3D 형상을 직접 세그멘테이션함으로써 정확하고 의미론적인 대응 관계를 구축합니다.

핵심 포인트

2D 이미지 세그먼트와 3D 형상의 의미론적 부분 간의 교차 모달리티 격차 해소
2D 비전 모델의 깊은 시각적 특징을 3D 형상 표면에 증류(Distillation)하는 기술 적용
'Best Segmentation Buddies' 개념을 통한 이미지 픽셀과 3D 정점 간의 최적 대응 식별
증류된 3D 특징을 활용한 3D 형상 직접 세그멘테이션 및 부트스트래핑 프로세스 구현
다양한 이미지-형상 쌍에 대해 높은 일반성과 강건성 입증

대응 관계(correspondences)를 찾는 것은 컴퓨터 비전(computer vision) 및 그래픽스(graphics) 분야에서 근본적이고 광범위하게 연구된 문제입니다. 본 연구에서는 실제 환경의 이미지와 질감이 없는 3D 형상(3D shapes) 사이의 세그멘테이션 대 세그멘테이션 대응(segmentation-to-segmentation correspondence)을 추정하는, 아직 충분히 탐구되지 않은 과제를 조사합니다. 이 과제는 외관(appearance), 기하학적 구조(geometry), 시점(viewpoint)의 상당한 차이로 인해 매우 도전적입니다. 우리의 접근 방식은 이미지 세그먼트(image segment) 내의 픽셀(pixels)을 3D 형상의 대응하는 의미론적 부분(semantic part)에 있는 정점(vertices)과 연결함으로써 교차 모달리티 격차(cross-modality gap)를 해소합니다. 이를 달성하기 위해, 우리는 먼저 2D 비전 모델(2D vision model)로부터 추출된 깊은 시각적 특징(deep visual features)을 3D 형상 표면에 증류(distill)하여, 이미지 픽셀과 형상 정점 사이의 특징 유사도(feature similarity)를 계산할 수 있도록 합니다. 그다음, 가장 유사한 이미지 픽셀이 이미지 세그멘테이션(image segmentation) 영역 내에 있는 정점인 '최적의 세그멘테이션 버디(Best Segmentation Buddies)'를 식별하여, 의미론적으로 대응하는 형상 부분 내의 정점들을 신뢰성 있게 발견할 수 있도록 합니다. 마지막으로, 2D 이미지 세그멘테이션 모델로부터 증류된 3D 특징(3D features)을 활용하여 3D에서 형상을 직접 세그멘테이션함으로써 대응 프로세스를 부트스트래핑(bootstrapping)합니다. 우리는 광범위한 이미지-형상 쌍에 걸쳐 우리 접근 방식의 일반성과 강건성(robustness)을 입증하며, 정확하고 의미론적으로 유의미한 대응 관계를 보여줍니다. 우리 프로젝트 페이지는 https://threedle.github.io/bsb/ 입니다.

AI 자동 생성 콘텐츠

원문 바로가기

이미지-형태 대응을 위한 최적의 세그멘테이션 버디 (Best Segmentation Buddies)

요약

핵심 포인트

댓글