OmniFaceRig: 다양한 3D 캐릭터 토폴로지를 아우르는 완전 자동 입 내부 인식 페이스 리깅 (Face Rigging)

페이스 리깅 (Facial rigging) — 입 내부 기하 구조(치아, 잇몸, 혀)와 함께 FACS 기반의 블렌드셰이프 (blendshapes)를 생성하는 작업 — 은 3D 캐릭터 제작에서 여전히 주요한 병목 현상으로 남아 있습니다. 기존의 파이프라인은 여전히 상당한 디자이너의 노력을 필요로 하며, 특히 수동 랜드마크 주석 (landmark annotation), 캐릭터별 템플릿 조정, 그리고 입 내부 배치 작업이 그러합니다. 본 논문에서는 미리 모델링된 구강 구조가 없는 정적인 표면 전용 3D 캐릭터 메쉬를 최대 155개의 블렌드셰이프, 절차적으로 피팅된 치아, 잇몸, 혀, 그리고 재구성된 UV/텍스처를 갖춘 입 내부 인식 FACS 리그 (FACS rig)로 변환하는 완전 자동 엔드 투 엔드 (end-to-end) 파이프라인인 OmniFaceRig를 제안합니다. OmniFaceRig는 수동 랜드마크, 사용자 제공 템플릿, 그리고 에셋별 설정 없이도 인간, 휴머노이드 (humanoids), 긴 주둥이를 가진 동물(예: 개, 늑대, 여우), 짧은 주둥이를 가진 동물(예: 고양이, 곰, 토끼, 호랑이) 등 다양한 토폴로지 (topologies)를 지원합니다. 이 파이프라인은 하이브리드 VLM+CV 리깅 가능성 검사 (riggability checking), 멀티 모델 페이스 파싱 (face parsing), 밀집 키포인트 기반 템플릿 등록 (template registration), 절차적 입 내부 구축, 그리고 충돌 인식 블렌드셰이프 전이 (collision-aware blendshape transfer)를 결합합니다. 비인간 캐릭터의 경우, OmniFaceRig는 토폴로지별 페이스 및 입 내부 템플릿을 선택하고, 사용자가 카테고리별 튜닝을 할 필요 없이 치아와 얼굴 사이의 교차를 줄이기 위해 충돌 인식 입 내부 피팅을 사용합니다. 또한, 우리는 인간, 휴머노이드, 고양이, 개 및 기타 동물을 아우르는 FACS 페이스 블렌드셰이프와 입 내부 기하 구조를 갖춘 1,000개의 이족 보행 3D 캐릭터로 구성된 자유 이용 가능한 벤치마크 데이터셋인 Omni-Bench를 공개합니다. 실험 결과, 선별된 Omni-Bench 입력값에 대해 높은 최종 리깅 성공률을 보였으며, 세그멘테이션 앙상블 (segmentation ensemble)을 통한 거의 완벽한 얼굴 탐지 재현율 (recall)과 낮은 침투를 보이는 신뢰할 수 있는 입 내부 배치를 확인했습니다. 종합적으로, OmniFaceRig는 정적으로 생성된 캐릭터로부터 인간 및 비인간 토폴로지 모두에서 애니메이션 준비가 된 페이스 리그로 가는 자동화된 경로를 제공합니다.