악의적인 생성 도구로부터 디지털 신원 보호하기

샌프란시스코 시 법무장관이 Apple과 Google을 상대로 제기한 최근의 법적 압박은 플랫폼 수준의 중재에 시스템적인 실패가 있음을 보여주지만, 컴퓨터 비전(CV) 및 생체 인식 분야 종사자들에게는 그 함의가 더 깊습니다. 이것은 단순히 정책 문제가 아니라, 얼굴 데이터의 무결성 및 생성형 AI 모델의 민주화와 관련된 기술적 과제입니다.

생성 모델과 판별 모델의 충돌

개발자로서 우리는 일반적으로 두 진영에서 작업합니다: 생성(새로운 데이터를 만드는 것)과 판별(기존 데이터를 레이블링하거나 비교하는 것). 문제가 되는

이 보고서에서 가장 눈에 띄는 기술적 세부 사항 중 하나는 연구원들의 보고와 플랫폼의 조치 사이에 존재하는 1년 간의 격차입니다. 개발자들에게 이는 현재 자동화된 앱 스토어 검토 시스템의 한계를 노출합니다. 대부분의 정적 분석 도구는 악성 API 호출이나 숨겨진 페이로드를 찾습니다. 그러나 이러한 악성 생성형 앱들은 종종 원격 서버에서 추론(inference)을 실행하거나, 합법적인 사진 필터 앱과 구별할 수 없는 표준 GPU 가속 프레임워크를 사용합니다.

플랫폼 소유주들이 막대한 자원을 가지고 있음에도 불구하고 제출 단계에서 합법적인 컴퓨터 비전(CV) 필터와 악성 생성 도구를 구분하지 못한다면, 윤리적 안전장치(ethical guardrails)의 부담은 개별 개발자와 회사들에게 전가됩니다. 우리는 우리가 조사하는 대상들의 얼굴이 진정한 표현인지 확인하기 위해 C2PA (Coalition for Content Provenance and Authenticity) 표준과 디지털 워터마킹을 살펴봐야 합니다.

포렌식 비교 무결성이 중요한 이유

CaraComp에서는 안면 인식(facial recognition)과 안면 비교(facial comparison)의 차이점을 강조합니다. 대중과 규제 당국이 비동의 생성형 AI가 초래하는 피해에 정당하게 초점을 맞추고 있지만, 우리는 조사 기술을 위해 이 구분을 유지해야 합니다.

비교 도구는 포렌식 상황에서 신원을 확인하도록 설계되었습니다. 목표는 보험 사기나 개인 진료 등 어떤 분야에 있든 조사관들에게 알려진 대상들 간의 수학적 거리를 기반으로 전문적이고 법정 제출이 가능한 보고서를 제공하는 것입니다. 이러한 생성형 앱들의 증가는 디지털 기록을 오염시키기 때문에 이를 더 어렵게 만듭니다. 우리는 단순히 얼굴만 비교하는 것이 아니라, GAN이나 확산 모델(diffusion model)에 의해 '오염'되지 않았는지 확인하기 위해 이미지 픽셀의 역사를 감사하고 있습니다.

강력한 검증으로 나아가기

기술 커뮤니티는 생성 아티팩트(generative artifacts)를 탐지할 수 있는 더욱 강력한 배치 비교 기능으로 나아가야 합니다. 만약 OSINT나 전문적인 조사를 위한 파이프라인을 구축하고 있다면, 여러분의 정확도 지표는 AI가 생성한 노이즈를 걸러낼 수 있는 능력에 달려 있습니다. 이것은 단순히 사생활 보호의 문제가 아니라 생체 인식 증거의 기술적 유효성에 관한 문제입니다. 우리는 일반 스마트폰 사용자에게도 생성 도구가 더 쉽게 접근 가능해짐에 따라 여전히 탄력성을 유지하는 유클리드 거리 분석(Euclidean distance analysis)에 초점을 맞춰야 합니다.

현재 컴퓨터 비전 워크플로우에서 이미지 출처(image provenance)를 어떻게 처리하여 신원 확인 과정 중 생성된 '가짜' 이미지를 분석하고 있지 않은지 확인하고 계십니까?