카메라가 생성형 AI를 사용할 때 이미지의 진위성 확보 방안

생성형 AI(GenAI) 방식이 카메라 이미지를 사진처럼 사실적으로 변형할 수 있는 능력은 온라인에서 공유되는 이미지의 진위성에 대한 인식을 높였습니다. 흥미롭게도, 카메라로 직접 촬영된 이미지는 진정하고 신뢰할 만한 것으로 간주됩니다. 그러나 딥러닝 모듈(deep-learning modules)이 카메라의 캡처 시간 하드웨어—즉, 이미지 신호 프로세서(ISP, image signal processor)—에 점점 더 통합되면서, 이제는 우리가 카메라로 직접 출력하는 이미지에 환각된(hallucinated) 콘텐츠가 포함될 잠재성이 생겼습니다. 환각된 캡처 시간 이미지 콘텐츠는 일반적으로 향상된 가장자리나 질감처럼 무해하지만, AI 기반 디지털 줌이나 저조도 이미지 향상과 같은 특정 작업에서는 환각이 이미지 콘텐츠의 의미론적(semantics) 해석을 변경할 수 있습니다. 그 결과, 사용자는 자신의 카메라 이미지에 포함된 콘텐츠가 진정하지 않다는 사실을 인지하지 못할 수 있습니다. 본 논문은 이러한 문제를 해결하기 위해 사용자들에게 '환각되지 않은(unhallucinated)' 버전의 카메라 이미지를 복구할 수 있도록 하여 이미지 콘텐츠의 오해석을 방지합니다. 저희 접근 방식은 모달리티별(modality-specific) 인코더와 함께 이미지 전용 다층 퍼셉트론(MLP, multi-layer perceptron) 디코더를 최적화하여, 주어진 카메라 이미지를 환각된 콘텐츠가 추가되기 이전의 상태로 복구할 수 있도록 작동합니다. 이 인코더와 MLP는 자체적으로 포함되어 있어 카메라 ISP에 접근할 필요 없이 캡처 후에 이미지에 적용될 수 있습니다. 더욱이, 인코더와 MLP 디코더는 단지 180 KB의 저장 공간만 필요하며 JPEG 및 HEIC와 같은 표준 이미지 형식 내 메타데이터로 쉽게 저장될 수 있습니다.