더 안전하고 투명한 AI 생태계를 위한 콘텐츠 출처(Content Provenance) 기술의 발전

Content Credentials, SynthID, 그리고 초기 공개 검증 도구를 통해 사람들이 AI 생성 콘텐츠의 출처를 이해할 수 있도록 지원합니다.

사람들은 소통을 더욱 표현력 있고, 유용하며, 접근 가능하게 만드는 방식으로 이미지와 오디오를 생성하고 편집하기 위해 매일 OpenAI의 도구들을 사용하고 있습니다. 이러한 도구들이 사람들이 무언가를 구축하고, 상상하고, 공유하는 방식의 일부가 됨에 따라, 사람들이 미디어가 어디에서 왔는지 이해하고 검증하여 더 높은 신뢰를 가지고 해석할 수 있도록 하는 것이 중요해졌습니다. 출처 신호(Provenance signals)는 콘텐츠가 어디에서 왔는지, 어떻게 생성되거나 편집되었는지, 그리고 주장하는 바와 일치하는지에 대한 맥락을 제공함으로써 도움을 줄 수 있습니다.

오늘 우리는 온라인에서의 신뢰를 구축하기 위해 다층적이고 생태계 중심적인 모델을 통해 콘텐츠 출처에 대한 접근 방식을 강화하고 있습니다. 우리는 C2PA 준수를 통해 다른 도구와 플랫폼이 우리의 출처 신호를 더 쉽게 인식할 수 있도록 만들고 있으며, Google과의 파트너십을 통해 이미지에 내구성이 있는 교차 플랫폼 SynthID 워터마킹(Watermarking)을 추가하고 있으며, 이미지가 OpenAI에서 생성되었는지 여부를 대중이 확인할 수 있는 도구의 미리보기를 공유합니다.

이러한 업데이트들은 개방형 표준을 지원하고, OpenAI가 생성한 콘텐츠를 더 쉽게 식별할 수 있게 하며, 더 신뢰할 수 있는 정보 생태계를 지원하기 위해 업계 전반과 협력해 온 우리의 __이전 작업__을 기반으로 합니다.

OpenAI는 2024년부터 콘텐츠 출처 표준 (provenance standards)의 개발 및 채택에 참여해 왔으며, 당시 우리는 DALL·E 3(opens in a new window)로 생성된 이미지에 콘텐츠 자격 증명 (Content Credentials)을 추가하기 시작했고, 이후 ImageGen(opens in a new window)과 Sora(opens in a new window)로 그 범위를 확장했습니다. 또한 우리는 콘텐츠 출처를 위한 개방형 기술 표준을 지원하는 산업 간 협력 그룹인 콘텐츠 출처 및 진위 협력체 (Coalition for Content Provenance and Authenticity, C2PA)의 운영 위원회 (Steering Committee)에 합류했습니다. C2PA의 기술적 접근 방식은 메타데이터 (metadata)와 암호화 서명 (cryptographic signatures)을 사용하여 미디어 조각에 대한 정보가 콘텐츠 자체와 함께 안전하게 전달되도록 돕습니다. 이 정보에는 출처를 평가하는 저널리스트, 무결성 결정을 내리는 플랫폼, 그리고 온라인에서 보고 있는 것을 이해하려는 사람들에게 도움이 되는 맥락 (context)이 포함됩니다.

최근 우리는 OpenAI를 C2PA 준수 생성 제품 (C2PA Conforming Generator Product)(opens in a new window)으로 만드는 단계를 밟았습니다. C2PA를 준수함으로써, 우리는 플랫폼들이 우리가 콘텐츠에 첨부한 출처 정보를 읽고, 보존하며, 전달할 수 있는 신뢰할 수 있는 방법을 제공하고 있습니다. 이는 출처 정보가 콘텐츠가 생성된 첫 번째 플랫폼을 넘어 생존할 때만 의미가 있기 때문에 중요하며, 준수 (conformance)를 통해 이를 가능하게 합니다.

C2PA 메타데이터는 출처를 위한 중요한 토대입니다. 이는 콘텐츠가 어디에서 왔는지, 어떻게 생성되거나 편집되었는지, 그리고 누가 해당 정보에 서명했는지에 대한 정보를 담을 수 있도록 돕습니다. 하지만 메타데이터가 완벽한 것은 아닙니다. 메타데이터는 제거될 수 있고, 업로드 및 다운로드 과정에서 손실될 수 있으며, 파일 형식 변경, 크기 조정 또는 스크린샷과 같은 변환 과정에서 깨질 수 있습니다.

출처의 복원력을 높이기 위해, 우리는 다층적인 접근 방식을 취하고 있으며 ChatGPT, Codex 또는 OpenAI API를 통해 생성된 이미지를 시작으로 Google DeepMind의 SynthID(opens in a new window)를 통한 워터마킹 (watermarking)을 통합하고 있습니다. SynthID는 C2PA 메타데이터 기반 접근 방식을 보완하는 보이지 않는 워터마킹 레이어를 삽입합니다.

우리는 이를 위해 한동안 준비해 왔습니다. 우리는 Sora에서 __가시적 워터마크 (visible watermarks)__를 사용해 왔고, Voice Engine에서는 __오디오 워터마크 (audio watermark)__를 사용해 왔으며, 배포를 통해 시간이 지남에 따라 정확성과 신뢰성을 지속적으로 테스트하고 연구해 왔습니다.

이 두 시스템은 서로를 강화합니다. C2PA는 콘텐츠가 상세한 맥락을 담을 수 있도록 돕고, SynthID는 메타데이터가 유지되지 않을 때 신호를 보존하는 데 도움을 줍니다. 워터마킹은 스크린샷과 같은 변환 과정을 거쳐도 더 오래 지속될 수 있는 반면, 메타데이터는 워터마크 단독보다 더 많은 정보를 제공할 수 있습니다. 이들이 결합되면, 각각의 레이어가 단독으로 존재할 때보다 출처 (provenance)를 더욱 탄력적으로 만들 수 있습니다.

대부분의 수정에 저항하는 신뢰할 수 있는 메타데이터와 워터마크는 출처 신호를 더 내구성 있게 만들 수 있습니다. 하지만 사람들에게는 이러한 신호를 탐지할 방법이 필요합니다. 우리는 이제 업로드된 이미지가 Content Credentials 및 SynthID를 포함한 출처 신호를 포함하고 있는지 확인하여, 해당 이미지가 ChatGPT, OpenAI API 또는 Codex에서 생성되었는지 사람들이 검증할 수 있도록 돕는 __공개 검증 도구 (public verification tool)__를 프리뷰로 선보입니다.

우리는 출처를 사람들이 더 쉽게 검증하고 해석할 수 있어야 한다고 믿으며, 우리의 도구가 여러 신호를 통합함으로써 “이것이 AI로 생성되었는가?”라는 질문에 답하는 데 사람들이 역할을 할 수 있도록 도울 수 있다고 믿습니다. 이는 2024년 우리의 __이미지 탐지 분류기 (image detection classifier)__의 초기 연구 프리뷰에서 얻은 학습을 바탕으로 하며, 사람들이 미디어 내에 OpenAI에서 유래한 SynthID 워터마크가 존재하는지 신뢰할 수 있게 탐지하고, C2PA 메타데이터가 발견될 경우 이를 표면화할 수 있게 합니다.

어떠한 탐지 방법도 완벽할 수는 없으므로, 탐지에 실패하는 경우에 대비하여 우리는 신중한 접근 방식을 취합니다. 예를 들어, 메타데이터나 워터마크가 탐지되지 않는 경우, 출처 신호가 어떤 경우에는 제거될 수 있기 때문에 이 도구는 해당 이미지가 OpenAI 도구로 생성되었는지 여부에 대해 확정적인 결론을 내리지 않을 것입니다.

출시 시점에 이 도구는 OpenAI가 생성한 콘텐츠로 제한됩니다. 향후 몇 달 내에, 우리는 플랫폼 전반에서 검증이 가능하도록 업계 전반의 노력을 지원하는 것을 목표로 하고 있습니다. 시간이 흐름에 따라, 사람들이 온라인에서 접할 수 있는 더 많은 유형의 콘텐츠도 지원할 수 있기를 기대합니다.

단일한 출처 (Provenance) 기술만으로는 충분하지 않습니다. 우리는 공유 표준 (Shared standards), 내구성이 있는 워터마킹 (Watermarking) 신호, 그리고 공개 검증 (Public verification)이 결합된 강력한 접근 방식이 필요하다고 믿습니다. Content Credentials에 대한 우리의 오랜 지원을 바탕으로, C2PA를 준수하고, SynthID를 채택하며, 공개 검증 도구를 미리 선보임으로써, 우리는 장기적으로 더욱 상호 운용 가능한 출처 (Provenance) 생태계에 기여하기를 희망합니다.