OpenAI, 중국 Moonshot AI가 모델의 '사고 과정'을 훔치려 했다는 의혹 제기: '적대적 증류(Adversarial

OpenAI, 중국 Moonshot AI가 자사 모델의 '생각'을 훔치려 했다고 밝히다

OpenAI는 이번 주에 발행한 블로그 게시물을 통해, 자사의 AI 모델이 가진 숨겨진 추론 과정을 추출하려는 조직적인 캠페인을 방해했음을 공개했습니다. 그리고 이 활동의 핵심 클러스터를 Kimi 챗봇을 개발한 중국 스타트업 Moonshot AI와 관련된 개인들과 연결지었습니다. 회사는 이 기술을 **'적대적 증류(adversarial distillation)'**라고 부릅니다.

이는 AI 모델이 어떻게 학습되는지에 대한 고조되는 그림자 전쟁에서 가장 상세한 공개적 주장이며, 지난달 Anthropic이 중국 개발자들을 상대로 제기했던 유사한 주장들에 이어 나온 것입니다.

무엇이 발생했는지 (Allegedly)

OpenAI에 따르면, 이 캠페인은 7월 1일에 낮은 규모로 시작했다가 급증했습니다. 특히 7월 24일과 25일 단 이틀 동안, 4,000명 이상의 사용자가 특정 프롬프팅 기법을 사용하여 약 16,000건의 요청을 보냈습니다. 추가 조사 결과, 15,000명이 넘는 사용자 클러스터 전반에 걸쳐 관련된 프롬프트 패턴이 발견되었습니다. OpenAI는 7월 28일까지 이 작업을 완전히 중단시켰다고 밝혔습니다.

이 방법은 참신했습니다. 운영자들은 한 대화에서 나온 암호화된 추론(encrypted reasoning) 출력을 복사하여 별도의 대화에 붙여넣고, 다른 모델 인스턴스에게 이를 해독하고 전사하도록 요청했습니다. OpenAI는 경쟁자들이 읽거나 학습할 수 없도록 자사의 추론 모델이 생성하는 사고 과정(chain-of-thought)을 정확하게 암호화합니다.

결정적으로, OpenAI는 _무엇이 일어나지 않았는지_를 강조합니다: 운영자들은 결코 그 암호를 해독하지 못했고, 저장된 사용자 대화에 접근하지 못했으며, 데이터베이스를 침해하지도 않았습니다. 대신, 그들은 평소에는 숨겨져 있던 추론 과정을 보이게 만들기 위해 신중하게 설계된 프롬프트를 사용하여 일반적인 모델 상호작용을 조작했습니다.

'적대적 증류(adversarial distillation)'란 무엇인가?

기계 학습(machine learning)에서 **지식 증류(distillation)**는 합법적이고 널리 사용되는 기술입니다. 이 기법은 더 작은 '학생(student)' 모델이 더 큰 '교사(teacher)' 모델의 출력값을 학습하여 그 능력을 저렴하게 물려받도록 하는 것입니다. OpenAI가 설명하는 것은 여기에 '적대적(adversarial)'이라는 단어를 추가한 것입니다. 이는 서비스 약관을 위반하여 한 모델의 출력값이나 추론 과정을 체계적이고 무단으로 사용하여 경쟁사 모델을 훈련하거나, 복제하거나, 개선하는 행위를 의미합니다.

이것이 왜 중요할까요? OpenAI에 따르면, 모델의 보호받는 추론 과정은 '과제를 수행하기 위한 모델의 내부 기록'입니다. 이를 추출하면 최종 답변에서 숨겨진 정보를 밝혀내고, 원래의 안전장치(safety guardrails) 없이도 다른 사람들이 고급 기능을 재현하는 데 도움을 줄 수 있습니다. 이것이 회사가 이 문제를 단순한 서비스 약관 분쟁이 아니라 국가 안보 문제로 규정하는 이유입니다. OpenAI의 전략적 국가 안보 정책 업무를 담당하는 Caroline Zier는

더 근본적인 질문은 '추론(reasoning)' 자체가 비밀로 유지될 수 있느냐는 것입니다. 모델들이 더욱 강력해질수록, 모델을 사용하는 것과 모델로부터 학습하는 것 사이의 경계가 모호해지고 있으며 — 업계의 현재 답변(사고 과정(chain of thought) 암호화, 계정 금지)은 종식이라기보다는 군비 경쟁의 시작처럼 보입니다.

핵심 요약

OpenAI는 누군가가 자사의 모델 '숙제'를 엿보려 한 것을 포착하고 관련자들을 지목하고 있습니다. 이 의혹이 사실인지, 그리고 베이징이 어떻게 대응할지가 수년간 AI 경쟁의 규칙을 형성할 것입니다.

공개 고지: 본 게시물에는 제휴 링크가 포함되어 있습니다. 이를 통해 구매하시면 추가 비용 없이 제가 커미션을 받을 수 있습니다.