길을 건너기 전 양방향을 확인하세요: 2D 시각적 사전 지식으로부터 크로스 필드(Cross Fields) 리프팅하기

우리는 이미지 내의 시각적 특징(visual features)에 의해 유도되는 메시(mesh) 상의 크로스 필드(cross fields)를 계산하는 기술인 CrossLift를 선보입니다. 우리는 2D에서 특징이 정렬된 사각형 메시(quad meshes)의 이미지를 합성할 수 있는 강력한 텍스트-이미지(text-to-image) 사전 지식(priors)을 활용합니다. 우리는 이 신호를 2D 이미지 내의 명시적인 픽셀별 방향(per-pixel directions)으로 추출하며, 이를 메시 표면으로 역투영(back-project)합니다. 우리는 메시 표면에서 두 번의 매끄러운 보간(smooth interpolations)을 수행함으로써 이러한 후보 표면 방향들을 집계합니다(첫 번째는 각 뷰(view) 내에서, 두 번째는 여러 뷰에 걸쳐 수행). 우리는 각 보간 과정에서 후보 방향들에 대해 맞춤형 신뢰도 기반 가중치(confidence-based weights)를 제안하며, 이를 통해 동일한 면(face) 상의 후보들 사이의 충돌을 해결하고 가려진 면(occluded faces)까지 필드를 매끄럽게 보간할 수 있습니다. 우리의 방법은 모듈식(modular)이며 다양한 2D 시각적 사전 지식(visual priors)과 함께 사용할 수 있습니다. 우리는 텍스처 정렬 사각형 메시 생성(texture-aligned quad meshing)뿐만 아니라, 사용자가 그린 거친 선을 신호로 사용하는 대화형 크로스 필드 설계(interactive cross-field design)에 대한 추가적인 응용 사례를 보여줍니다. 우리는 유기적 형태와 기계적 형태를 모두 포함하는 다양한 형태 세트에서 CrossLift의 효과를 입증하였으며, 기존 방법들과 비교하여 우수한 의미론적 정렬(semantic alignment)을 보여주는 사각형 메시를 생성합니다. 프로젝트 페이지: https://crosslift.github.io/