몇 주마다 한 번씩 이런 헤드라인이 등장합니다: "중국 연구소가 OpenAI / Anthropic의 프런티어 모델을 증류(distilled)했다." 그러면 댓글창이 열립니다. 스레드의 절반은 증류(distillation)를 도둑질의 동의어로 생각하고, 나머지 절반은 이것이 중국만의 어떤 이국적인 기술이라고 생각합니다.

둘 다 틀렸습니다. 증류(Distillation)는 딥러닝 (deep learning)에서 가장 지루하고 잘 확립된 기술 중 하나이며, 경고를 울리는 연구소들조차 자신들의 모델에 이 기술을 끊임없이 사용합니다. 실제 논란은 헤드라인보다 더 좁고 흥미롭습니다. 공학적인 측면과 지정학적 측면을 분리해 봅시다.

증류(distillation)란 실제로 무엇인가

지식 증류 (Knowledge distillation)는 작은 학생 (student) 모델이 거대한 교사 (teacher) 모델을 모방하도록 학습시키는 것입니다. 고전적인 프레임워크는 Hinton et al. (2015)에서 비롯되었습니다. 학생 모델을 정답 레이블 (ground-truth labels)로만 학습시키는 대신, 교사 모델의 출력 분포 (output distribution)를 일치시키도록 학습시키는 것입니다.

이것이 왜 도움이 될까요? 교사의 _전체 확률 분포 (full probability distribution)_가 단 하나의 정답보다 훨씬 더 많은 정보를 담고 있기 때문입니다. 만약 교사 모델이 개의 이미지를 분류한다면, 개: 0.9, 늑대: 0.08, 고양이: 0.001과 같은 출력을 내놓을 수 있습니다. "개와 늑대는 유사하지만, 고양이는 그렇지 않다"라는 이 신호 — Hinton은 이를 **암묵적 지식 (dark knowledge)**이라고 불렀습니다 — 가 바로 작은 모델이 정답 레이블 (hard labels)만으로는 학습하기 어려워하는 핵심 요소입니다.

학습 신호에는 두 가지 종류가 있습니다:

• 하드 레이블 (Hard labels) — 최종 정답 (교사가 실제로 생성한 토큰 또는 정답 레이블).
• 소프트 레이블 (Soft labels) — 출력에 대한 교사의 전체 확률 분포로, 보통 소프트맥스 (softmax)를 통과한 로짓 (logits) 값입니다.

핵심 비결은 **온도 (temperature)**입니다. 소프트맥스 (softmax)를 적용하기 전에 로짓 (logits)을 T > 1인 온도 T로 나누면, 분포가 평탄해지면서 학생 모델이 학습해야 할 작지만 의미 있는 확률들이 드러나게 됩니다.

손실 함수 (loss)는 두 항의 혼합으로 이루어집니다: 실제 레이블에 대한 표준 교차 엔트로피 (cross-entropy), 그리고 학생의 평탄화된 분포를 교사의 분포 쪽으로 끌어당기는 KL-발산 (KL-divergence)입니다.

import torch.nn.functional as F

def distillation_loss(student_logits, teacher_logits, labels, T=2.0, alpha=0.5):
...

LLM(Large Language Models)의 경우에도 토큰별로 동일한 개념이 적용됩니다. 즉, 교사 모델(teacher)의 다음 토큰 분포(next-token distribution)가 소프트 타겟(soft target)이 됩니다. 실제로 연구팀들은 하드 레이블(hard labels)과 소프트 레이블(soft labels)을 혼합하여 사용합니다. 최근 연구에 따르면, 이러한 혼합을 통한 이득은 "교사 모델을 더 잘 모방하는 것"에서 오기보다는 노출 편향(exposure bias)(학습/추론 분포 간의 불일치)을 줄이는 것에서 더 크게 발생한다고 주장합니다. 핵심은 이것이 정상적이고, 출판되었으며, 동료 검토(peer-reviewed)를 거친 공학적 방법이라는 점입니다.

또한 연구소들은 항상 자신들의 모델을 증류(distill)합니다. 여러분이 실제로 프로덕션 환경에서 호출하여 사용하는 플래그십 모델의 저렴하고 빠른 변형 모델은? 매우 빈번하게 증류된 학생 모델(distilled student)입니다. Anthropic 자체도 중국 기업들에 대한 불만을 제기하는 와중에, AI 기업들이 더 작고 저렴한 버전을 만들기 위해 자신들의 모델을 일상적으로(routinely) 증류한다는 점을 인정했습니다.

폐쇄형 API로부터의 증류가 왜 다른 차원의 문제인가

헤드라인들이 생략하는 부분이 바로 여기입니다. 위의 모든 내용은 여러분이 교사 모델의 로짓(logits) — 즉, 가공되지 않은 출력 분포 — 를 가지고 있다고 가정합니다. 이것이 **화이트박스 증류(white-box distillation)**이며, 모델의 내부 구조나 최소한 전체 확률 출력에 대한 접근 권한이 필요합니다.

Claude나 GPT와 같은 폐쇄형 상용 API에서는 로짓을 얻을 수 없습니다. 여러분이 얻는 것은 텍스트뿐입니다. 이는 블랙박스(black-box) (일명 시퀀스 수준(sequence-level)) 증류를 강제합니다:

1. 교사 모델에 수많은 입력을 프롬프트(prompt)로 제공합니다.
2. 생성된 텍스트 출력을 수집합니다.
3. (프롬프트 → 교사 모델의 답변) 쌍으로 구성된 합성 데이터셋(synthetic dataset)을 구축합니다.
4. 해당 데이터셋을 사용하여 지도 미세 조정(supervised fine-tuning)을 수행하고, 종종 RL(강화학습)을 뒤따르게 하여 학생 모델을 미세 조정합니다.

소프트 레이블에 담긴 암묵적 지식(dark knowledge)은 잃게 되지만, 강력한 교사 모델이 생성한 대규모의 고품질 합성 데이터셋으로 학습하는 것만으로도 놀라울 정도로 높은 수준에 도달할 수 있다는 것이 밝혀졌습니다. 이것이 바로 "모델 X가 모델 Y의 출력을 통해 학습했는가?"라는 질문이 매우 뜨거우면서도 증명하기 어려운 질문인 정확한 이유입니다. 그 증거는 도난당한 가중치(weights) 파일이 아니라, 행동에 나타나는 통계적 지문(statistical fingerprints)이기 때문입니다 (예: 무작위로 자신이 ChatGPT라고 주장하는 모델, 다른 모델의 특이한 습성을 그대로 반영하는 모델 등).

그래서 실제 혐의는 무엇인가요?

자극적인 요소를 걷어내고 기록된 타임라인을 살펴보면 다음과 같습니다:

• 2025년 1월 — DeepSeek의 R1 출시 이후, OpenAI와 Microsoft는 DeepSeek가 ChatGPT의 출력물을 학습에 사용했는지 여부에 대해 조사를 시작했습니다. 사용자들은 R1이 의심스러울 정도로 ChatGPT와 유사하게 동작하는 것을 목격했습니다.
• 2026년 2월 — OpenAI는 미국 하원 중국 특별위원회(U.S. House Select Committee on China)에 메모를 보내, DeepSeek가 난독화된 제3자 라우터(third-party routers)를 사용하여 OpenAI 모델에 접근하고, 서비스 약관을 위반하여 증류 (distillation)를 위해 프로그래밍 방식으로 출력물을 추출했다고 주장했습니다.
• 2026년 2월 24일 — Anthropic은 세 곳의 중국 기업 — DeepSeek, Moonshot AI, MiniMax — 가 조직적인 "증류 공격 (distillation attack)" 캠페인을 벌였다고 공개적으로 비난했습니다. 이들은 Anthropic의 중국 접속 제한을 피하기 위해 수만 개의 계정을 운영하는 상업용 프록시 서비스를 통해, 정교하게 설계된 프롬프트(crafted prompts)로 Claude를 공세했다고 주장했습니다.

여기서 두 가지 사항이 중요하며, 대부분의 보도는 이를 거꾸로 이해하고 있습니다:

1. 이것은 혐의입니다. 이 글을 쓰는 시점까지 연구소들은 근거가 되는 전체 증거를 공개하지 않았으며, 피고소 기업들은 이를 부인하거나 확인해주지 않았습니다. 행동의 유사성은 시사하는 바가 있을 뿐, 증거는 아닙니다.
2. 논쟁의 핵심은 "증류 = 나쁘다"가 아닙니다. 한 윤리 연구원이 Anthropic의 성명 이후 언급했듯이, Anthropic 스스로도 증류가 정당하고 널리 퍼져 있다고 말한다면, 논란의 대상은 기술 그 자체가 될 수 없습니다. 논란은 더 좁은 두 가지 사항에 집중됩니다: 무단 접근 (지리적 및 계정 제한을 피하기 위해 프록시를 사용하는 것)과 서비스 약관 위반 (대부분의 프런티어 API는 출력물을 경쟁 모델을 학습시키는 데 사용하는 것을 명시적으로 금지합니다). 이는 지식재산권(IP) 절도라는 결정적 증거보다는 계약 및 접근 권한에 관한 싸움에 가깝습니다. 또한 "다른 모델의 출력물로 학습하는 것"에 대한 법적 상태는 진정으로 미결 상태입니다.

"얼마나 걸리고 / 비용은 얼마나 드나요?"

이것은 모두가 던지는 질문이며, 솔직한 답변은 다음과 같습니다. 처음부터 학습(training from scratch)시키는 것보다는 극적으로 적은 비용이 들며 — 이것이 바로 경제적 동기입니다 — 하지만 특정 의혹 사례에 대한 정확한 수치는 공개되어 있지 않습니다. 누군가 당신에게 "그들은 N일 동안 $M의 비용으로 해냈다"라고 정확한 수치를 인용한다면, 그것은 추측일 뿐입니다.

구조적으로 우리가 말할 수 있는 것은 다음과 같습니다:

• 프런티어 모델(frontier model)을 처음부터 사전 학습(Pretraining)하는 것은 수만 개의 고성능 가속기(accelerators)를 대규모로 가동하는 것뿐만 아니라, 그 이면에 있는 데이터 파이프라인과 연구 반복(research iteration) 과정을 의미합니다.
• 증류(Distillation)는 그 타임라인을 압축합니다. 가장 비용이 많이 드는 부분인 '능력을 발견하는 과정'은 이미 스승(teacher) 모델에 의해 비용이 지불되었습니다. 학생(student) 모델의 비용은 대략 다음과 같습니다: 합성 데이터셋 생성(API 호출 + 시간) 및 상대적으로 저렴한 미세 조정(fine-tuning) 실행. 이것이 바로 미국 연구소들이 분노하는 비대칭성입니다. 그들은 프런티어를 밀어붙이기 위해 수십억 달러를 쓰는데, "무임승차자(free-rider)"는 그 비용의 아주 일부만으로 이를 뒤쫓을 수 있습니다.
• 이것이 바로 DeepSeek의 헤드라인 수치들이 그토록 논란이 되었던 이유이기도 합니다. DeepSeek가 자체 보고한 낮은 학습 비용과 적은 하드웨어 점유율은 경쟁사들이 지름길을 의심하게 만든 바로 그 지점이었습니다. 모든 발견을 스스로 수행하기보다 이미 학습된 서구권의 스승 모델로부터 부트스트래핑(bootstrapped)을 했다면 그러한 수치를 달성하기가 훨씬 쉽기 때문입니다.

결론적으로: 증류는 _꽤 강력한 학생_을 빠르고 저렴하게 만듭니다. 하지만 증류가 스승을 넘어서는(leapfrog) 도약(leapfrog)을 가능하게 하지는 않습니다. 학생은 일반적으로 자신이 학습한 스승에 의해 성능 한계가 결정됩니다. 증류를 통해 프런티어로 나아가는 것이 아니라, 증류를 통해 타인의 저렴한 복사본을 만드는 것입니다.

시사점 (Takeaways)

• 증류 (Distillation)는 표준적이고 이미 공개된 딥러닝 (Deep-learning) 관행입니다. 이에 대해 불만을 제기하는 연구소들도 스스로 이를 사용합니다.
• 화이트박스 증류 (White-box distillation)에는 로짓 (Logits)이 필요합니다. 폐쇄형 API는 텍스트만 노출하므로, Claude나 GPT로부터 증류한다는 것은 생성된 출력물을 이용한 블랙박스 (Black-box) 학습을 의미합니다.
• DeepSeek, Moonshot, MiniMax를 향한 OpenAI와 Anthropic의 주장은 증류 자체가 본질적으로 불법이라는 점이 아니라, 무단 접근 및 서비스 약관 (ToS) 위반에 관한 것이며, 이는 여전히 주장 (allegations) 단계에 머물러 있습니다.
• 경제적 관점은 실재합니다. 증류는 프런티어 사전 학습 (Frontier pretraining)보다 훨씬 저렴하며, 이것이 바로 증류가 비즈니스 및 정책의 발화점이 되는 이유입니다. 하지만 학생은 스승의 한계에 갇히게 됩니다.

이 중 어떤 것이라도 심도 있는 기술적 버전 — 온도 스케일링 (Temperature scaling)의 수학적 원리, 왜 하드 레이블 (Hard labels)과 소프트 레이블 (Soft labels)을 혼합하는 것이 각각을 단독으로 사용하는 것보다 나은지, 또는 행동 지문 (Behavioral fingerprinting)이 어떻게 증류를 _탐지 (detect)_하려고 시도하는지 — 에 대해 알고 싶다면 댓글로 알려주세요.

출처 및 추가 읽을거리

• OpenAI의 미국 하원 중국 전략 특별위원회 메모 (2026년 2월) — Reuters 및 Rest of World 보도.
• "Anthropic, 중국 AI 기업들의 증류 캠페인을 지적하며 OpenAI에 합류하다," CNBC, 2026년 2월 24일.
• Hinton, Vinyals, Dean, "Distilling the Knowledge in a Neural Network" (2015).
• "Understanding LLM Distillation Techniques," MarkTechPost, 2026.
• "The Bridge-Garden Dilemma in LLM Distillation," arXiv:2605.26246.
• Winston & Strawn, "Is AI Distillation by DeepSeek IP Theft?" (법적 회색 지대에 대한 분석).