$μ$Flow: 평균 이미지를 활용한 딥페이크 얼굴 탐지기의 일반화 성능 향상

GAN(Generative Adversarial Networks) 및 확산 모델(Diffusion Models)을 포함한 현재의 생성 모델들은 뛰어난 수준의 실사성을 달성하였으며, 이는 개인정보 보호와 보안에 상당한 위험을 초래하고 있습니다. 실제 환경에서의 적용성을 보장하기 위해, 딥페이크 탐지기(deepfake detectors)는 학습 시 보지 못한 생성기(unseen generators)에 대해서도 효과적으로 일반화(generalise)되어야 합니다. 그러나 대부분의 기존 방식은 실제 이미지와 가짜 이미지를 모두 사용하는 지도 학습(supervised training)에 의존하며, 이는 특히 생성기 범주 간(예: GANs vs DMs)의 일반화 능력을 제한합니다. 본 연구에서는 의사 딥페이크(pseudo-deepfakes)나 합성 아티팩트(synthetic artifacts)에 의존하지 않고, 오직 실제 이미지로만 학습되는 원-클래스(one-class) 딥페이크 탐지기인 $μ$Flow를 소개합니다. 우리의 접근 방식은 여러 이미지를 평균 내는 것이 일관된 생성 흔적(generative traces)을 증폭시켜 매우 판별력 있는 특징 표현(feature representations)을 생성한다는 관찰에 기반합니다. 우리는 평균화된 이미지에서 추출된 특징의 분포를 모델링하고, 개별 이미지의 특징 공간을 이 분포와 정렬하도록 정규화 흐름(normalizing flow)을 학습함으로써 이 특성을 활용합니다. 이러한 정렬은 강력한 일반화를 촉진하는 동시에 실제 샘플과 가짜 샘플을 분리하는 가능도 기반 기준(likelihood-based criterion)을 제공합니다. 우리는 실제 및 가짜 데이터셋 모두가 학습 과정에서 보이지 않는 완전한 분포 외(out-of-distribution) 설정에서 $μ$Flow를 평가합니다. 실험 결과, 우리의 방법은 SOTA(State-of-the-Art) 탐지기들을 크게 능가함을 보여줍니다. 프로젝트 페이지: https://opontorno.github.io/MuFlow.