이미지 조작 국지화에 대한 다축 분석
요약
생성형 AI의 발전으로 정교한 이미지 조작이 쉬워짐에 따라, 다양한 시각적 도메인에서 조작을 탐지하기 위한 새로운 벤치마크인 AUDITS를 제안합니다. AUDITS는 사용자 및 뉴스 사진 53만 개 이상의 데이터를 포함하며, 확산 기반 인페인팅 기술을 활용해 조작 유형, 크기, 품질, 도메인 변화를 다각도로 분석합니다. 이를 통해 기존 탐지 모델의 강건성을 평가하고 더욱 신뢰할 수 있는 탐지 기술 개발을 목표로 합니다.
핵심 포인트
- 이미지 조작 탐지를 위한 포괄적인 벤치마크 AUDITS(Analysis Under Domain-shifts, quality, Type, and Size) 소개
- 사용자 사진과 뉴스 사진 등 53만 개 이상의 대규모 이미지 데이터셋 구축
- Diffusion-based inpaintings 기술을 사용하여 다양한 조작 유형과 크기를 반영
- 도메인 시프트(Domain shift) 환경에서의 기존 탐지 모델 강건성 평가
- 일반화 가능한 이미지 조작 탐지 방법론 연구를 위한 통찰력 제공
고급 이미지 편집 소프트웨어는 매우 설득력 있는 이미지 조작을 쉽게 생성할 수 있게 하며, 이는 최근 생성형 AI (Generative AI)의 발전으로 인해 더욱 접근하기 쉬워졌습니다. 조작된 이미지들은 종종 무해할 수도 있지만, 잘못된 정보를 퍼뜨리고, 허위 서사를 만들어내며, 중요한 사안에 대한 사람들의 의견에 영향을 미칠 수 있습니다. 이러한 증가하는 위협에도 불구하고, 서로 다른 시각적 도메인(Visual domains)에 걸친 고급 조작을 탐지하는 것에 대한 연구는 제한적입니다. 이에 따라, 우리는 이미지 조작 탐지(Image manipulation detection)의 분석 축을 연구하기 위해 설계된 포괄적인 벤치마크인 AUDITS (Analysis Under Domain-shifts, qualIty, Type, and Size)를 소개합니다. AUDITS는 두 개의 서로 다른 소스(사용자 및 뉴스 사진)로부터 얻은 53만 개 이상의 이미지로 구성됩니다. 우리는 다양한 조작 유형과 크기를 아우르는 최신 확산 기반 인페인팅 (Diffusion-based inpaintings) 기술을 사용하여 여러 축에 걸친 분석을 지원하도록 데이터셋을 큐레이션했습니다. 우리는 기존의 이미지 조작 탐지 방법들의 강건성 (Robustness)을 평가하기 위해 다양한 유형의 도메인 시프트 (Domain shift) 환경에서 실험을 수행합니다. 우리의 목표는 더욱 신뢰할 수 있고 일반화 가능한 이미지 조작 탐지 방법을 개발하는 데 도움이 될 새로운 통찰력을 제공함으로써 이 분야의 추가적인 연구를 촉진하는 것입니다.
AI 자동 생성 콘텐츠
본 콘텐츠는 arXiv cs.LG (Machine Learning)의 원문을 AI가 자동으로 요약·번역·분석한 것입니다. 원 저작권은 원저작자에게 있으며, 정확한 내용은 반드시 원문을 확인해 주세요.
원문 바로가기