MagPlus: 학습 가능한 확대(Magnification)를 통해 미세한 움직임에서 일반적인 얼굴 표정으로 연결

얼굴의 미세표현(micro-expressions)은 진정한 인간 감정에 대한 중요한 단서를 제공하는 미묘하고 짧게 지속되는 얼굴 움직임입니다. 하지만 주석이 달린 미세표현 데이터가 제한적이고 근본적인 얼굴 움직임 자체가 극도로 약하기 때문에 이를 모델링하고 생성하는 것은 여전히 어렵습니다. 따라서 기존의 미세표현 생성 방법들은 종종 품질 제한, 낮은 강건성(robustness), 그리고 낮은 일반화 성능으로 어려움을 겪습니다. 본 논문에서는 미세표현 분석을 표준 얼굴 애니메이션 모델과 연결하는 전이 가능한(transferable) 미세표현 처리 파이프라인인 MagPlus를 제안합니다. MagPlus는 처음부터 별도의 생성기(generator)를 학습시키는 대신, 미묘한 얼굴 움직임을 일반적인 얼굴 표정의 범위로 확대(magnify)하도록 학습하여, 미세표현을 기존 얼굴 표정 처리 모델과 호환되는 신호로 변환합니다. 이렇게 확대된 시퀀스는 이후 표준 얼굴 표정 모델에 의해 전이 및 합성(synthesis) 등의 작업에 사용됩니다. 보완적인 DeMagPlus 모듈은 생성된 움직임을 원래의 미세표현 강도 수준으로 복원하면서 합성된 역학을 유지합니다. 우리는 FOMM, FSRT, MetaPortrait, EmoPortraits 네 가지 얼굴 애니메이션 모델을 사용하여 이 프레임워크를 평가했습니다. 이들 모델 중 어느 것도 미세표현 데이터로 학습되지 않았습니다. 실험 결과는 MagPlus-DeMagPlus가 백본(backbones) 재학습 없이도 사전 학습된 거대 표정(macro-expression) 모델이 더 사실적인 미세표현 움직임을 생성할 수 있게 함을 보여줍니다.