일관된 UV 매핑된 기하학 구조, 알베도(albedo), 그리고 물리 기반 변위(physically based displacement)를 갖춘 고해상도 얼굴 데이터셋은 부족하지만, 이러한 에셋들은 사실적인 디지털 휴먼 렌더링에 필수적입니다. 기존의 3D 얼굴 생성 방법들은 종종 느리거나, 단일 모달리티(single-modality)이거나, 대규모 전문 데이터셋을 요구합니다. 한편, 대형 이미지 확산 모델(large image diffusion models)은 강력한 얼굴 사전 정보(facial priors)를 인코딩하지만, 조명 독립적인 텍스처, 기공 규모의 변위, 또는 UV 정렬된 기하학 구조를 네이티브하게 생성하지는 못합니다.
저희는 FaceRiff를 소개합니다. 이는 공유 UV 공간에서 텍스트로부터 완전한 3D 얼굴 에셋(메시, 알베도, 변위)을 직접 생성하기 위한 통합적이고 데이터 및 파라미터 효율적인 프레임워크입니다. FaceRiff는 사전 학습된 SDXL 백본에 작업별 LoRA 어댑터를 적용하고 UV 노멀 맵을 기하학적 조건화(geometric conditioning)로 사용합니다. 개별 인스턴스 법선 벡터(per-instance normals)는 알베도 및 변위 합성을 안내하며, 데이터셋 평균 법선 벡터(dataset-mean normal)는 메시 생성을 위한 표준 공간 앵커를 제공합니다.
단지 약 350명의 아이덴티티로부터 얻은 2,049개의 스캔만을 사용하고 단일 GPU에서 학습했음에도 불구하고, FaceRiff는 작업당 백본 파라미터의 3% 미만만 업데이트하며 개별 인스턴스 최적화 없이도 렌더링 준비가 된 3D 얼굴 에셋을 생성합니다. FaceG2E 및 DreamFace와 비교했을 때, FaceRiff는 프롬프트 정렬과 고정 토폴로지 UV 일관성을 유지하면서도 더 높은 개별 프롬프트 다양성(per-prompt diversity)을 제공하며, 또한 기존 텍스트 기반 기준 모델에서는 없었던 PBR 재조명(PBR relighting)에 적합한 조명 독립적 알베도와 기공 규모 변위를 추가적으로 생성합니다.
45명의 업계 전문가를 대상으로 한 블라인드 연구 결과, FaceRiff는 DreamFace보다 훨씬 높은 인지된 사실성을 달성하여 실제 캡처 수준에 근접함을 보여주었습니다. 전반적으로, FaceRiff는 사전 학습된 확산 사전 정보가 제한된 데이터 조건 하에서도 통합적인 3D 얼굴 에셋 합성으로 적응될 수 있음을 입증합니다.