AI 증류가 실제로 돌아가는 순서는 이렇다. 큰 모델을 자르는 게 아니라, 선생의 판단을 학생에게 옮기는 학습이다.

1. 선생 모델을 고른다
   이미 학습이 끝난 대형 모델을 기준점으로 둔다. 가중치는 보통 고정한다.

2. 학생 모델의 크기를 정한다
   폰·사내 서버·API 예산에 맞게 더 작은 구조를 잡는다. 선생과 구조가 달라도 된다.

3. 선생으로 소프트 타깃을 만든다
   같은 입력을 넣고, 최종 정답만이 아니라 각 선택지의 확률 분포를 받는다.

4. 학생을 두 손실로 동시에 학습한다
   하드 손실은 정답과의 차이, 증류 손실은 선생 확률 분포와의 차이다. 둘을 같이 줄여야 선생의 일반화 습관이 넘어간다.

5. 학생만 배포한다
   선생은 학습용 기준, 서비스에는 가벼운 학생만 올라간다.

학습 예시 두 개.

예시 A. 이미지 분류
선생이 여우 사진을 보고 “여우 0.72 / 개 0.21 / 고양이 0.05 / 샌드위치 0.001”처럼 순위를 낸다. 학생은 정답 “여우”만 외우는 게 아니라, 개와는 헷갈리고 샌드위치와는 거의 안 헷갈리는 결까지 따라 배운다.

예시 B. 문장 다음 단어
선생이 “한국에서 온디바이스 AI를 돌리려면” 다음에 “메모리” 0.41, “전력” 0.28, “클라우드” 0.12처럼 후보 확률을 남긴다. 학생은 그 분포를 흉내 내며, 짧은 모델로도 비슷한 말버릇을 익힌다.

참고로 DistilBERT는 이 방식으로 파라미터를 약 40% 줄이면서 성능의 약 97%를 남겼다고 보고됐다.

한국에서 온디바이스 AI, 사내 모델, 스타트업 달러 API 절감이 걸리는 지점도 같다. 거대 모델을 그대로 올리기 어려울 때 쓰는 공정이다.

순수 증류만으로 선생을 넘는 구조는 아니다. 넘는 순간, 증류 바깥 학습이 섞인 경우가 많다.