서로 다른 생성기 간의 일반화 가능한 딥페이크 탐지를 위한 다중 도메인 특징 융합 프레임워크

딥페이크(Deepfakes)는 개인정보 보호, 보안 및 정보의 무결성을 위협하는 인공적으로 생성된 이미지, 오디오 또는 비디오입니다. 최신 모델들이 매우 사실적인 콘텐츠를 생성함에 따라, 이러한 콘텐츠를 탐지하는 것은 허위 정보에 대응하는 데 있어 매우 중요합니다. 공간(Spatial) 또는 주파수(Frequency) 기반의 접근 방식은 생성적 적대 신경망 (GANs) 기반의 생성된 딥페이크에 대해서는 좋은 탐지율을 달성하지만, 최근의 확산 모델 (Diffusion Model)로 생성된 이미지에는 어려움을 겪는 경우가 많습니다. 특히, 기존의 접근 방식들은 상호 보완적인 다중 도메인 표현을 활용하거나 생성기 간의 강건성 (Robustness)을 체계적으로 평가하는 경우가 드뭅니다. 이러한 과제를 해결하기 위해, 우리는 이중 잔차 학습 (Dual Residual Learning) 구조 내에서 공간, 그래디언트 (Gradient), 그리고 DWT (Discrete Wavelet Transform, 이산 웨이브릿 변환) 기반의 주파수 표현을 통합하는 SGFF-Net (Spatial-Gradient-Frequency Fusion Network)이라는 다중 도메인 딥페이크 탐지 프레임워크를 제안합니다. 실험 결과에 따르면, SGFF-Net은 데이터셋 내부 평가 (Intra-dataset evaluation)에서 98.95%의 정확도를 달성하였으며, 교차 모델 (Cross-model, 70.46%) 및 교차 패러다임 (Cross-paradigm, 69.94%) 설정 모두에서 성능을 향상시켰습니다. 다중 소스 학습 (Multi-source training)과 데이터 증강 (Data augmentation)을 결합함으로써 강건성을 더욱 강화하여, 교차 모델 평가에서는 정확도를 70.46%에서 79.80%로, 교차 패러다임 평가에서는 69%에서 78%로, 그리고 실제 환경 데이터 (Real-world data)에서는 61.50%에서 75.80%로 높였습니다. 단일 도메인 탐지기와 달리, SGFF-Net은 공간, 그래디언트, 웨이브릿-주파수 도메인 전반에 걸쳐 상호 보완적인 포렌식 단서 (Forensic cues)를 학습하며, 그 결과 생성기 간 및 패러다임 간 평가에서 더 큰 강건성을 나타냅니다. 결과적으로 다중 도메인 표현을 데이터 다양성 및 증강과 결합하는 것이 일반화 성능을 실질적으로 향상시킨다는 것을 보여주며, 이는 더욱 신뢰할 수 있는 딥페이크 탐지 시스템을 개발하기 위한 실질적인 통찰을 제공합니다.