안녕하세요. 2026년 1월 G検定에 합격한 문과 출신 엔지니어입니다.

G検定의 시라버스(syllabus)에 포함된 테마 중, 평범해 보여도 의외로 다루기 부족한 것이 **모델 경량화(モデル圧縮)**입니다. '증류', '가지치기', '양자화'…… 한자어만 가득해서 딱딱하게 느껴지지만, 사실 전부 'AI 모델의 다이어트' 이야기입니다. 이 글에서는 세 가지 기법의 차이점을 비유로 한 번에 정리합니다.

주의: 본 글은 JDLA 인증 공식 콘텐츠가 아닙니다. 필자 개인의 학습 경험에 기반한 비공식 정보 공유입니다. 최신 시라버스는 JDLA 공식 사이트에서 확인해 주십시오.

고성능 딥러닝 모델은 파라미터 수가 수억~수천억 개에 달합니다. 강력한 GPU가 있는 클라우드에서는 작동하지만, 스마트폰이나 가전제품, 자동차 등의 엣지 디바이스에서는 연산 자원도 메모리도 전력도 제한적입니다.

여기서 등장하는 것이 엣지 AI라는 개념입니다. 데이터를 클라우드로 보내지 않고 단말기 측에서 추론함으로써 통신 지연을 줄이고 프라이버시 면에서도 유리합니다. 하지만 그러기 위해서는 모델 자체를 작고 빠르게 만들 필요가 있습니다. 이것이 모델 경량화의 동기(motivation)입니다.

| 기법 | 무엇을 하는가? | 다이어트에 비유하면 | :--- |
| 증류 (Distillation) | 큰 모델의 지식을 작은 모델로 옮긴다 | 베테랑 코치가 요점만 제자에게 전수한다 |
| 가지치기 (Pruning) | 중요도가 낮은 가중치나 뉴런을 삭제한다 | 군살(사용하지 않는 부분)을 깎아낸다 |
| 양자화 (Quantization) | 수치의 정밀도를 낮춰 데이터량을 압축한다 | 체중계 표시를 0.1kg 단위에서 1kg 단위로 | :---

**지식 증류(Knowledge Distillation)**는 고정도의 대형 모델(교사 모델)의 출력을 '모범 답안'으로 삼아 소형 모델(학생 모델)을 훈련하는 기법입니다.

포인트는 정답 라벨뿐만 아니라, 교사 모델이 출력하는 **확률 분포(소프트 타겟)를 학습시키는 것입니다.

끝까지 읽어주셔서 감사합니다. 여러분의 학습에 도움이 되기를 바랍니다!