이미지 조작 국지화에 대한 다축 분석

요약

생성형 AI의 발전으로 정교한 이미지 조작이 쉬워짐에 따라, 다양한 시각적 도메인에서 조작을 탐지하기 위한 새로운 벤치마크인 AUDITS를 제안합니다. AUDITS는 사용자 및 뉴스 사진 53만 개 이상의 데이터를 포함하며, 확산 기반 인페인팅 기술을 활용해 조작 유형, 크기, 품질, 도메인 변화를 다각도로 분석합니다. 이를 통해 기존 탐지 모델의 강건성을 평가하고 더욱 신뢰할 수 있는 탐지 기술 개발을 목표로 합니다.

핵심 포인트

• 이미지 조작 탐지를 위한 포괄적인 벤치마크 AUDITS(Analysis Under Domain-shifts, quality, Type, and Size) 소개
• 사용자 사진과 뉴스 사진 등 53만 개 이상의 대규모 이미지 데이터셋 구축
• Diffusion-based inpaintings 기술을 사용하여 다양한 조작 유형과 크기를 반영
• 도메인 시프트(Domain shift) 환경에서의 기존 탐지 모델 강건성 평가
• 일반화 가능한 이미지 조작 탐지 방법론 연구를 위한 통찰력 제공