Convolutional Neural Networks, Procedural Modeling, 그리고 Contour Mapping의 결합된 접근

얼굴 스케치로부터 3D 모델을 생성하는 것은 전문 3D 아티스트와 초보자 모두를 위해 얼굴 모델링을 엄청나게 용이하게 할 수 있는 잠재력 때문에 컴퓨터 그래픽스 (Computer Graphics) 분야에서 활발히 연구되고 있는 주제입니다. 얼굴 표정이 우리 얼굴의 윤곽 (contours)을 크게 변화시키고 형성하는 데 책임이 있다는 관찰에 착안하여, 우리는 우리의 접근 방식에 표정 탐지 (expression detection)와 3D 모델 생성 (3D model generation)을 모두 결합했습니다. 그 결과, Convolutional Neural Networks (CNN), 파라메트릭 3D 얼굴 모델 (Valley Girl), 그리고 Active Snake Contours라는 세 가지 구성 요소에 의존하여 스케치로부터 3D 모델을 생성하는 새로운 접근 방식을 제시합니다. 문헌상 최초로, CNN은 (우리가 직접 생성한 데이터셋을 사용하여) 활성 FACS Action Units를 탐지함으로써 주어진 스케치에서의 표정을 탐지하도록 학습됩니다. 그런 다음 그 표정은 Valley Girl에 복제되어 유사한 표정을 가진 3D 모델을 얻게 됩니다. 마지막으로 Active Snake Contours를 사용하여 해당 모델과 주어진 스케치 사이의 간극을 메우는 데 필요한 변환 (transforms)을 찾아냅니다.