8월 2일부터 EU AI Act에 따라 모델 및 제공자의 텍스트에 워터마크 삽입 의무화: 거주지에 상관없이 모두에게 영향

쿠키 배너를 싫어하는 분 계신가요? 앞으로 다가올 일에 비하면 그것들은 정말 아무것도 아닙니다.

AI Act (AI 법)는 많은 것을 요구합니다. 많은 이들이 알고 있듯이, 8월부터 AI에 의해 수정되거나 생성된 모든 오디오 파일은 메타데이터 태그가 지정되어야 하며 핑거프린트 워터마크 (fingerprint-watermarked) 처리가 되어야 합니다 (3200만 달러의 벌금).

하지만 이 법은 그 이상의 많은 것을 규정하고 있으며, 이는 모든 훌륭한 오픈 소스 (open source) 모델들이 영향을 받는다는 것을 의미합니다.

합성 텍스트 (synthetic text)를 생성하는 AI 시스템의 제공자는 출력이 기계가 읽을 수 있고(machine-readable) AI가 생성했음을 감지할 수 있도록 해야 하며, 이를 위해 효과적이고, 상호 운용 가능하며(interoperable), 견고하고(robust), 신뢰할 수 있는(reliable) 2개의 계층(layers)을 가진 기술적 솔루션을 사용해야 합니다.

매우 단순한 OSS (open source software) 모델들은 면제되므로, 예전의 llama 7B는 괜찮을 수도 있지만, "시스템적 위험 (systemic risk)" 모델들은 면제되지 않습니다. Qwen 3.6 시리즈, Deepseek Flash, GLM, Kimi는 모두 시스템적 위험 GPAI (General Purpose AI) 모델입니다.

AI Act는 또한 텍스트 (TEXT) 출력물도 기계가 감지할 수 있어야 한다고 명시하고 있으며, 메타데이터의 암호화 태깅 (cryptographic tagging, 가능한 경우 c2pa 등)과 함께 "통계적 방법 (statistical methods)"을 제안할 뿐입니다.

따라서 만약 ChatGPT가 PDF나 TXT 다운로드를 제공한다면, 해당 파일에는 암호화 서명된 메타데이터가 포함되어야 합니다.

하지만 하나의 계층이 아닌 반드시 2개의 계층이 존재해야 합니다. 그리고 이들은 "견고 (robust)"해야 합니다. 단순한 "AI Generated" (8월부터 모든 AI 이미지에 추가되어야 하는 라벨)만으로는 충분하지 않으며, 텍스트 자체에 통계적 워터마크 (statistical watermarked)가 삽입되어야 합니다.

미세한 보이지 않는 점들을 포함하는 레이저 프린트된 종이와 유사한 방식입니다. 당연히 이는 AI 품질의 심각한 저하를 의미합니다.

누가 영향을 받나요? EU 시민이 접근할 수 있는 도구를 제공하거나 서비스를 제공하는 사람이라면 누구나 해당됩니다. 설령 그 시민이 말레이시아에서 관광 중이거나 VPN을 사용하고 있는 단 한 명의 EU 시민일지라도 말입니다.

LM-Studio, ollama, llama.cpp, vllm, chatgpt, claude, codex, copilot, opencode, cursor, stable diffusion Web UI, Huggingface 등이 모두 포함됩니다.

AI 이미지, AI 텍스트, AI 음악, AI 음성을 수정하거나 생성하는 모든 AI 애플리케이션은 EU 스탬프인 "AI modified" 또는 "AI generated"를 사용해야 하며, 파일에 메타데이터 인장을 찍어야 하고, 콘텐츠에 워터마크를 삽입해야 합니다.

또한 위험 평가(risk assessment) §50 문서, 준수 문서(compliance documentation), 탐지 서비스(detection service)를 제공해야 합니다.
이를 이행하지 않을 경우 3,500만 유로(약 4,000만 달러) 또는 연간 매출의 몇 퍼센트 중 더 높은 금액으로 벌금이 부과됩니다.
그들은 또한 자발적으로 따를 것을 요청하는 방대한 행동 강령(code of conduct)을 가지고 있지만, 이를 따르지 않을 경우 벌금을 부과받을 위험이 심각하게 증가합니다. 해당 강령은 기술적으로 매우 불가능하거나 공개적으로 모순되는, 종종 훨씬 더 끔찍한 조항들을 대량으로 추가합니다.
당신의 Qwen 3.6 또는 gemma 4 12B가 "시스템적 위험이 있는 GPAI (GPAI with systemic risk)"의 요구 사항을 충족하지 않는다고 말할 수도 있습니다. 일부 벤치마크를 무시한다면 아마 맞을 수도 있겠지만, 당신이 제공자(provider)나 배포자(distributor)가 된다면 4,000만 달러의 벌금 위험은 당신의 몫이 됩니다. 따라서 EU가 그것을 시스템적 위험이 있는 AI라고 판단한다면, 그들이 당신을 포착하는 즉시 법정에서 벌금에 직면하게 될 것입니다.
하지만 당신이 EU에 있지 않다면 어떻게 될까요? 당신은 여전히 완전히 영향을 받습니다.
모든 오픈 소스(open source) 프로젝트와 모델을 포함하여, EU 내로 무엇이든 제공하는 모든 서비스는 영향을 받습니다.
단순히 관광객이거나 VPN을 사용하는 EU 시민에게 무언가를 제공하는 모든 서비스도 책임을 집니다.
당신의 멋진 새로운 스타트업을 코딩하고 싶습니까? 유럽인이 그것을 건드릴 수 없도록 보장하는 것이 좋을 것입니다.
그렇지 않으면 아예 EU에 발을 들이지 않거나 비즈니스를 너무 크게 키우지 않는 것이 나을 것입니다.
이는 세상의 모든 제공자가 준수해야 함을 의미합니다. 모든 오픈 소스 도구도 마찬가지입니다.
이 규제는 매우 침해적이면서 동시에 터무니없을 정도로 근시안적입니다.
향후 몇 년 내에 인터넷상의 모든 이미지의 99%가 AI 콘텐츠를 포함하게 될 것이며, 그들 모두는 눈에 보이게 워터마크가 삽입되어야 합니다.
모든 웹사이트의 99%가 텍스트와 코드 면에서 AI에 의해 생성될 것입니다.
모든 영화의 99%가 AI 콘텐츠를 포함할 것이며, 모든 마케팅 및 판매 클립도 마찬가지입니다.
모든 마케팅 및 판매 보이스오버(voiceovers)의 99%가 AI를 사용할 것입니다.
따라서 이것은 마치 쿠키 배너와 같습니다. 웹사이트를 제공하기 위해 쿠키를 사용해야 하며 모든 쿠키를 수락하거나 필요한 쿠키만 수락할 수 있다고 모두가 경고하는 것과 같습니다. 다만 그것이 도처에서 당신의 눈앞에 나타나게 될 뿐입니다.

텍스트, 이미지, 비디오 및 사운드에 적용되는 쿠키 배너와 같습니다.
출처: https://eur-lex.europa.eu/eli/reg/2024/1689/oj
프로젝트들이 이에 어떻게 대응하고 있는지 살펴보았으며, 일부는 이미 대응을 마쳤습니다.

음성 및 음악 (Speech & Music)
Elevenlabs - Google과 협력: 모두를 위한 SynthID (Google의 강력한 AI 기반 워터마크)
Demodokos Foundry - 지원 팀 답변에 따르면 가벼운 규제 준수 (light compliance)를 위해 작업 중임
Suno - Audible Magic 콘텐츠 ID, 지원 팀이 내 문의를 무시함 - AI Act에 대한 공식 성명은 아직 없음 (침묵 속의 규제 준수 가능성 높음)
Udio - 공식 성명 없음, 지원 팀이 내 문의를 무시함 (침묵 속의 규제 준수 가능성 높음)

이미지 및 텍스트 (Images and Text)
OpenAI/ChatGPT -