올해 초, Google AI 리드인 Jeff Dean은 한 팟캐스트에서 당시에는 전문적인 기술 서클 밖에서는 거의 언급되지 않았던 개념인 증류 (distillation)에 대해 논의했습니다.

Google의 AI 모델 개발에 대해 이야기하면서, Dean은 Google이 하나의 거대한 이미지 인식 모델에 의존하지 않고 시스템의 성능을 향상시키고자 했기 때문에 자신과 동료들이 인공지능 증류 (AI distillation) 기술을 발견했다고 말했습니다.

Dean은 지난 2월, "작은 모델을 더 유능하게 만들기 위한 핵심 기술인 증류 (distillation)를 통해서는, 이를 작은 모델로 증류하기 위해 반드시 프런티어 모델 (frontier model)을 보유하고 있어야 합니다"라고 말했습니다.

5개월 후, 기술자들과 입법자들이 이 관행이 국가 안보 위협으로 변하고 있으며 중국이 고위험 AI 경쟁에서 미국을 따라잡게 만들고 있는지에 대해 논쟁함에 따라, 증류 (distillation)는 실리콘밸리에서 워싱턴 D.C.에 이르기까지 갑자기 뜨거운 감자가 되었습니다. 지난주 후반, 중국 연구소인 Moonshot AI가 Kimi K3를 출시한 후, 사용자들이 이것이 Anthropic 및 OpenAI의 최고의 상용 AI와 경쟁할 만하다는 것을 빠르게 발견하면서 우려가 분출되었습니다.

독점 모델에 대한 접근 권한을 판매하는 미국의 선도적인 AI 기업들과 달리, Moonshot 및 기타 중국 연구소들은 사용자가 기술을 다운로드하고, 수정하고, 원하는 곳 어디에서나 실행할 수 있도록 하는 이른바 오픈 웨이트 (open-weight) 모델을 제공하고 있습니다.

일부 정부 관계자들은 Moonshot이 이토록 빠르게 따라잡을 수 있는 이유를 증류 (distillation) 덕분이라고 돌리며, 이를 특히 Anthropic의 프런티어 Fable 모델을 통합함으로써 미국의 지적 재산을 훔친 것이라고 설명합니다.

백악관 고문 Michael Kratsios는 수요일 X(구 트위터)에 "Moonshot AI가 K3 모델 개발을 위해 Anthropic의 Fable을 증류 (distilled)했다는 정보를 입수했습니다"라고 게시했습니다. "이를 위해 그들은 미국 모델을 대상으로 대규모 증류 (distillation)를 수행할 수 있는 정교한 내부 플랫폼을 개발했으며, 이를 통해 탐지를 피하기 위해 여러 가지 접근 방식을 빠르게 전환할 수 있었습니다."

Chinese startup Moonshot AI unveils new model, closing performance gap with U.S. rivals

거시적인 관점에서, 증류 (Distillation)란 챗봇의 답변이나 고급 AI 모델의 작업 결과물을 사용하여 다른 모델을 학습시키는 것을 의미합니다. 이 관행은 사용 방식에 따라 논란의 여지가 있는데, 가장 정교한 학습 기술을 개발하기 위해 수백만 또는 수십억 달러를 투자한 기업들의 결과물을 단순히 활용함으로써 모델 개발자가 경쟁력 있는 제품을 만들어낼 수 있게 하기 때문입니다.

AI 보안 기업인 SecurityPal의 설립자 푸카르 하말(Pukar Hamal)은 "마치 누군가가 강의를 듣고, 교과서를 읽고, 숙제를 하는 모든 힘든 과정을 마친 것과 같습니다."라고 말했습니다. "그런 다음 다른 학생이 '저기, 난 그거 안 했어. 네 결과물을 그냥 베껴도 될까?'라고 말하는 것과 같죠."

Kratsios의 게시물이었든 아니면 다른 무엇이었든, 지구상의 가장 거대한 기술 기업들은 지난 금요일 전례 없는 방식으로 모여 자신들의 입장을 명확히 했습니다. 일주일 내내 이어진 일련의 소셜 미디어 게시물 이후, 기술 거물인 Nvidia, Microsoft, Meta, Palantir는 20개 이상의 다른 기업들과 함께 정책 입안자들에게 "경쟁을 저해하거나 혁신을 해외로 몰아낼 수 있는" 오픈 웨이트 (open-weight) AI 모델에 대한 "성급한 규제"를 피할 것을 촉구하는 서한을 발표했습니다.

그들은 서한에서 "증류 (Distillation), 즉 한 모델의 출력을 사용하여 다른 모델을 학습시키거나 개선하는 관행은 모델의 개선, 진화 및 검증을 위해 널리 사용되는 기술입니다"라고 적었습니다.

증류 (Distillation)의 등장은 지식재산권 (IP) 도용과 국가 안보 문제 모두 측면에서 중국 기술을 오랫동안 우려해 온 미국 정책 입안자들에게 난제를 던져줍니다.

조지타운 대학교 보안 및 신흥 기술 센터 (Center for Security and Emerging Technology)의 연구원인 콜린 셰이-블라이어 (Colin Shea-Blymyer)는 미국 정부가 자신의 입장을 정립하려 노력 중이라고 말했습니다.

셰이-블라이어는 정부가 중국과 러시아 기업들이 "열심히 노력한 미국 모델의 결과물을 사용하여 자신들의 성능을 높였으며, 따라서 그들이 불공정한 이점을 가지고 있다"라고 주장할 수 있다고 말했습니다.

Box의 CEO인 Aaron Levie는 금요일 서한의 서명자 중 한 명이었습니다. Levie는 인터뷰에서 경쟁력을 유지하기 위해 미국 기업들은 그것이 어디에서 개발되었든 상관없이 최고의 기술에 접근할 수 있어야 한다고 말했습니다.

"일반적으로 혁신이 더 많이 일어날수록, 그것이 미국에서 오든 중국에서 오든 혹은 그 외의 곳에서 오든, 더 많은 AI 발전을 기대할 수 있을 것이며, 일반적으로 시간이 지남에 따라 비용은 더 낮아지고 효율성은 더 높아지는 방향으로 흐를 것입니다"라고 Levie는 말했습니다.

Info-Tech Research Group의 연구 이사인 Shashi Bellamkonda는 현재 논의의 상당 부분이 Kimi K3와 같은 중국의 오픈 웨이트 (open-weight) AI 모델에 집중되어 있지만, 많은 기업이 자체 모델을 만들 때 증류 (distillation) 기술을 통합해 왔다고 말했습니다. 예를 들어, Nvidia는 동반된 연구 논문에 상세히 기술된 바와 같이 Llama Nemotron 모델 시리즈의 훈련 과정의 일부로 증류 (distillation)를 사용했습니다.

"더 큰 모델의 출력물을 사용하여 더 작고 저렴한 모델을 훈련시키는 것은 정당하고 매우 가치 있는 기술이며, 항상 실행되고 있는 방식입니다"라고 Bellamkonda는 말했습니다.

하지만 Anthropic은 다른 견해를 가지고 있는데, 이는 회사가 자사의 모델이 어떻게 사용되고 있는지 목격하고 있으며 보호해야 할 급성장하는 비즈니스를 가지고 있기 때문입니다. 지난 2월, 이 회사는 자사의 Claude 기능이 중국의 DeepSeek, Moonshot, MiniMax에 의해 "산업적 규모 (industrial scale)"로 증류 (distilled)되고 있다고 밝혔으며, 이들은 약 24,000개의 가짜 계정을 사용하여 1,600만 건의 대화를 생성했습니다.

기업 가치가 1조 달러에 육박하며 가까운 미래에 기업 공개 (IPO)를 열망하고 있는 Anthropic은 불법적인 증류 (distillation)를 막는 것이 국가 안보의 문제라고 말했습니다.

Anthropic은 지난 2월 게시물에서 "Anthropic과 다른 미국 기업들은 국가 및 비국가 행위자들이 AI를 사용하여 예를 들어 생화학 무기를 개발하거나 악의적인 사이버 활동을 수행하는 것을 방지하는 시스템을 구축합니다"라고 밝혔습니다. 그리고 이를 막기 위해서는 "업계 관계자, 정책 입안자, 그리고 글로벌 AI 커뮤니티 간의 신속하고 조율된 행동"이 필요하다고 덧붙였습니다.

OpenAI와 Anthropic은 서비스 약관(Terms of Service)에서 증류 (Distillation)를 금지하고 있습니다. Bellamkonda는 이들이 본질적으로 허가 없이 자신들의 더 큰 모델을 사용하는 것이 잠재적인 지식재산권 (IP) 절도에 해당한다고 시사하고 있다고 말했습니다.

하지만 AI 비용이 급등함에 따라, 기업들은 효율성을 높이기 위해 무엇이든 할 것입니다.

AI를 사용하여 보안 평가를 자동화하는 SecurityPal의 Hamal은 Kimi K3와 같은 중국의 오픈 웨이트 (Open-weight) 모델을 사용하는 것에 문제가 없을 것이라고 말했습니다. 그는 이것이 비용을 크게 절감할 수 있다고 말합니다.

"우리는 코드에 악의적인 백도어 (Backdoor)가 없는지 확인할 것입니다."라고 Hamal은 말했습니다. "하지만 평가를 마친 후 우리 자체 인프라에 호스팅하는 것은, 왜 안 되겠습니까?"

Anthropic과 OpenAI가 지식재산권 (IP) 절도에 관한 논거를 제시하려 할 때 직면한 한 가지 큰 문제는, 두 회사 모두 모델을 구축하기 위해 다른 출처의 콘텐츠에 의존해 왔으며, 그로 인해 소송을 당했다는 점입니다.

AI 기업들을 상대로 한 저작권 소송에서 도서 작가들을 대리하는 Boies Schiller Flexner의 변호사 Max Pritt는 정부 또한 같은 상황에 처해 있다고 말했습니다.

"정부는 적어도 공개적으로는 기술 기업의 지식재산권 (IP) 보호에 노력을 집중해 온 반면, 허가 없이 사용된 창작자와 개인의 지식재산권에 대해서는 상당 부분 침묵을 지키고 있습니다."라고 Pritt는 말했습니다.

Goldman Sachs: China's AI firms are finding ways to monetise even as their models remain open