딥페이크 탐지 API의 실패: 당신의 얼굴이 안전하지 않은 이유

우리는 대부분의 사람들이 깨닫는 것보다 더 Black Mirror 에피소드에 가까운 현실에 처해 있습니다. 막연하고 디스토피아적인 의미가 아니라, 구체적이고 측정 가능한 방식으로 말입니다. 즉, 합성 미디어 (synthetic media)를 잡아내기 위해 설계된 AI 시스템들이 대규모로 활발히 실패하고 있습니다.

지난달, 미시간 대학교 (University of Michigan)의 연구진은 주요 제공업체(Microsoft Azure, Amazon Rekognition 파생 서비스 및 전문 스타트업 등)의 상용 딥페이크 탐지 API가 적대적 비디오 (adversarial video)에 직면했을 때 탐지율이 18%만큼 낮게 나타난다는 것을 입증했습니다. 이것은 가상의 공격이 아닙니다. GPU를 가진 유능한 엔지니어라면 오늘이라도 당장 구현할 수 있는 실질적인 기술들입니다.

사이버펑크 (cyberpunk) 같은 현실은 우리가 비디오 증거를 믿을 수 없는 먼 미래의 이야기가 아닙니다. 그것은 지금 바로 일어나고 있으며, 탐지 시스템들은 패배하고 있습니다.

아무도 이야기하지 않는 API 군비 경쟁

대부분의 개발자들은 딥페이크 탐지가 해결된 문제라고 생각합니다. 하지만 그렇지 않습니다. 그 아키텍처 (architecture)는 근본적으로 결함이 있습니다.

문제는 이것입니다: 탐지 API는 비디오 프레임에서의 통계적 이상 징후(statistical anomalies)—눈 깜빡임, 빛 반사의 불일치, 얼굴 기하학적 왜곡(face geometry warping) 등을 식별하는 데 의존합니다. 이것들은 실제적인 단서들입니다. 하지만 공격자들이 탐지기가 무엇을 찾고 있는지 알게 되면(연구가 공개되어 있기 때문에 그들은 이미 알고 있습니다)

그 이유는 다음과 같습니다: 그들의 학습 데이터(training data)에 실제로 중요한 공격 벡터(attack vectors)가 포함되어 있지 않기 때문입니다. 악의적인 행위자가 딥페이크를 만들 때, 그들은 결점 없는 테스트 데이터셋(test dataset)을 속이려고 시도하는 것이 아닙니다. 그들은 지난 3년 동안 학술 논문에 발표된 것과 동일한 탐지 회피(detection-evasion) 기술을 사용하고 있습니다.

생체 인식 인증(Biometric Verification)이 이미 침해되었을 수도 있는 이유

탐지가 실패하고 있다면, 예방은 어떨까요? 더 나은 인증 방법을 사용하면 되지 않을까요?

아니요. 아직은 아닙니다.

얼굴 인식 API는 고충실도(high-fidelity) 비디오 스푸핑(spoofing)에 여전히 취약합니다. Apple의 Face ID는 3D 깊이 센서(3D depth sensors)를 사용하여 (스푸핑하기 더 어렵지만), 은행 기관, 정부 포털 및 암호화폐 거래소의 웹 기반 얼굴 인증 시스템은 일반적으로 2D 카메라를 사용합니다.

연구자들은 이미 화상 회의 앱을 통해 전달된 충분히 발전된 딥페이크 비디오가 생동감 탐지(liveness detection)를 무력화할 수 있음을 입증했습니다. 이 공격이 작동하는 이유는 다음과 같습니다:

1. 생동감 탐지 시스템은 미세한 머리 움직임과 자연스러운 눈 깜빡임을 확인합니다.
2. 현대의 생성형 AI (특히 확산 모델 (diffusion models))는 이제 이러한 미세 표정(micro-expressions)을 합성할 수 있습니다.
3. 대부분의 API는 프레임 단위의 일관성(frame-by-frame consistency)만 확인할 뿐, 더 긴 시퀀스에 걸친 시간적 일관성(temporal coherence)은 확인하지 않습니다.

개발자의 관점에서 보자면: 인증의 병목 현상은 운영체제(OS) 수준에서 비디오 소스 무결성(video source integrity)에 대한 암호화 검증(cryptographic verification)을 배포하는 곳이 아무도 없다는 점입니다. 당신의 전화기는 비디오를 녹화합니다. 당신의 전화기는 하드웨어 기반 키(hardware-backed key)로 해당 비디오에 서명할 수 있습니다. 대신, 전체 신원 확인 스택은... 속이기가 점점 더 쉬워지고 있는 행동 기반 휴리스틱(behavioral heuristics)에 의존하고 있습니다.

음모론자의 정당한 우려

여기서 공식적인 서사(official narrative)가 불편해지는 지점이 있습니다: 기관들은 탐지가 실패하고 있다는 사실을 알고 있지만, 이에 대해 투명하게 공개하지 않고 있습니다.

은행이 "저희 탐지 시스템이 영상을 확인했습니다"라는 이유로 고객의 딥페이크 사기 피해 주장을 거부할 때, 그들은 적대적 환경 (adversarial conditions)에서 50-70%의 정확도로 작동하는 기술을 가지고 고객의 전 재산을 걸고 도박을 하는 것입니다. 책임 프레임워크 (liability framework)는 아직 이를 따라잡지 못했습니다. 보험 정책은 "합성 미디어 사기 (synthetic media fraud)"를 보장하지 않습니다. 규제 프레임워크 (GDPR, HIPAA, SOX)에는 딥페이크 증거에 대한 조항이 전혀 없습니다.

한편, 국가 단위의 행위자들과 조직 범죄 집단은 최소 2년 전부터 사기 운영에 딥페이크를 실험해 왔습니다. 이는 추측이 아닙니다. 대부분의 사람들이 읽지 않은 FBI 위협 게시판과 인터폴 (Interpol) 보고서에 명시되어 있는 사실입니다.

은폐되고 있는 것은 딥페이크의 존재 자체가 아닙니다. 탐지 시스템이 입증 가능한 수준으로 신뢰할 수 없음에도 불구하고, 대안(모든 것을 사람이 직접 검토하는 것)이 운영상 불가능하기 때문에 기관들이 이를 그대로 배포하고 있다는 사실입니다.

진정한 사이버펑크의 순간

우리가 마주하고 있는 사이버펑크 (cyberpunk) 현실은 초지능 AI나 완전한 감시 사회가 아닙니다. 그보다 더 나쁩니다. 바로 증거는 무의미해졌지만, 기관들은 여전히 증거를 요구하는 세상입니다.

영상을 믿을 수 없습니다. 탐지 시스템은 정교한 가짜를 잡아낼 수 없습니다. 생체 인식 인증 (biometric auth)은 침해되었습니다. 법 체계는 적응하지 못했습니다. 그리고 이러한 시스템을 구축하는 기업들은 수익성이 높고 책임 소재가 불분명하기 때문에, 어쨌든 배포하기 위해 경주를 벌이고 있습니다.

개발자들을 위한 조언: 탐지가 작동한다고 가정하는 것을 멈추십시오. 만약 영상 인증에 의존하는 무언가를 구축하고 있다면, 사후적인 알고리즘 탐지 (algorithmic detection post-hoc)가 아니라 소스 단계에서의 암호화 서명 (cryptographic signing)이 필요합니다. 음모론자들에게: 영상 증거에 대해 회의적인 태도를 갖는 것은 옳습니다. 그 외의 모든 분들에게: 방금 온라인에서 본 그 "증거"는 진짜가 아닐 수도 있습니다.

사이버펑크는 오고 있는 것이 아닙니다. 우리는 이미 그 안에 있습니다.