차세대 안면 조작(Facial manipulation) 탐지하기

컴퓨터 비전(Computer vision) 및 생체 인식 검증(Biometric verification) 파이프라인을 구축하는 개발자들에게 "딥페이크(deepfake)"라는 용어는 위험할 정도로 광범위한 추상화가 되었습니다. 디지털 포렌식(Digital forensics)과 안면 비교(Facial comparison)의 세계에서 모든 합성 미디어(Synthetic media)를 단일 카테고리로 취급하는 것은 치명적인 탐지 실패로 이어지는 기술적 오류입니다. 현실은 립싱크(Lip-sync) 딥페이크가 페이스 스왑(Face-swap)과는 계산적 및 포렌식적으로 구별된다는 것이며, 만약 당신의 알고리즘이 경계 아티팩트(Boundary artifacts)만을 찾고 있다면, 현재 파이프라인에 진입하고 있는 가장 정교한 사기를 놓치고 있는 것입니다.

우리가 목격하고 있는 기술적 변화는 "전체 얼굴 합성(Entire-face synthesis)"에서 "부분 얼굴 조작(Partial-face manipulation)"으로 이동하고 있습니다. 초기 딥페이크 모델이 정체성 A를 정체성 B로 교체하는 데 집중했다면, 현재의 고위험 사기는 얼굴 자체는 100% 실제 상태를 유지하는 립싱크(Lip-syncing)를 자주 활용합니다. 입 영역이 단순히 새로운 오디오 트랙에 맞춰 수정될 뿐입니다. 조사관이나 검증 도구를 구축하는 개발자에게 이것은 악몽과 같습니다. 얼굴의 기하학적 구조(Facial geometry), 피부 질감(Skin textures), 그리고 피사체의 "행동 지문(Behavioral fingerprint)"까지도 그대로 유지되기 때문인데, 이는 얼굴이 실제로 프레임 속 인물의 것이기 때문입니다.

알고리즘 관점에서 우리는 시청각 거리 지표(Audio-visual distance metrics)를 살펴보아야 합니다. CVPR에서 발표된 논문들을 포함한 동료 검토(Peer-reviewed) 연구에 따르면, 실제 영상은 약 0.16의 중앙값 시청각 거리를 유지합니다. 반면, 립싱크 딥페이크는 고품질일지라도 보통 0.63에서 0.66 사이를 맴돕니다. 여기에는 개발자들이 활용할 수 있는 정량화 가능한 수학적 격차가 존재합니다. "양순음(Bilabial sound)" 문제, 즉 "p", "b", "m"과 같은 소리를 낼 때 입술이 맞닿아야 하는 물리적 요구 사항은 비디오 시퀀스 전반에 걸쳐 누적되는 타이밍 오류를 생성합니다. CaraComp에서 우리는 유클리드 거리 분석(Euclidean distance analysis)을 사용하는 안면 비교 기술에 집중하고 있습니다.

많은 기업용 도구들이 군중 스캔(surveillance)에 집중하는 반면, 현대적인 사기 범죄에 더 효과적인 조사 접근 방식은 병렬 비교(side-by-side comparison)입니다. 의심스러운 프레임을 대상의 알려진 검증된 이미지와 비교함으로써, 안면 기하학(facial geometry)이 합성 모델에 맞추기 위해 수학적으로 얼마나 "끌어당겨졌는지"를 식별할 수 있습니다. 실시간 비디오 API(real-time video APIs)를 다루는 이들에게 병목 현상은 종종 "라이브" 통화에 요구되는 100ms 렌더링 제한입니다. 이러한 속도를 달성하기 위해 생성 모델(generative models)은 입 안과 같은 복잡한 영역에서 자주 지름길을 택합니다. 만약 탐지 레이어(detection layer)를 구축하고 있다면, 흐릿한 치아나 프레임 사이에서 "변하는" 치아 기하학(dental geometry)을 찾아보십시오. 이러한 아티팩트(artifacts)는 단순한 시각적 오류가 아닙니다. 이는 높은 지연 시간(high latency) 하에서 시간적 일관성(temporal consistency)을 유지하기 위해 알고리즘이 공간적 세부 사항(spatial detail)을 희생한 결과입니다. 조사 기술의 미래는 단순히 "가짜" 이미지를 찾아내는 것이 아니라, 이러한 불일치를 정량화하여 법정 제출이 가능한 보고서를 제공하는 것입니다. 여러분이 OSINT 연구자이든 개발자이든, 목표는 신원 격차(identity gap)를 메우는 것입니다. 만약 우리가 개인 조사자들에게 연방 기관이 사용하는 것과 동일한 유클리드 거리 분석(Euclidean distance analysis) 도구를 훨씬 저렴한 비용으로 제공할 수 있다면, 현재 딥페이크(deepfake)를 사용하는 사기꾼들이 가진 우위를 무력화할 수 있습니다. 더욱 정교한 부분 안면 조작(partial-face manipulations)으로 나아감에 따라, 우리의 탐지 초점을 공간적 안면 아티팩트(spatial facial artifacts)에 집중하기보다 시청각 동기화(audio-visual synchronization, AV-sync) 쪽으로 전환해야 한다고 생각하십니까?