LLM 경량화를 위한 하이브리드 정책 증류 (HPD) 기법 제안

요약

대규모 언어 모델(LLM)의 지식 증류(Knowledge Distillation, KD)는 모델 압축에 필수적인 기술이지만, 기존 방법들은 최적화 전략과 데이터 구성 측면에서 한계가 있었습니다. 본 논문은 이러한 KD 과정을 토큰 레벨의 재가중 로그 우도(reweighted log-likelihood) 목표로 통일하여 분석하고, '하이브리드 정책 증류(Hybrid Policy Distillation, HPD)'라는 새로운 프레임워크를 제안합니다. HPD는 순방향 및 역방향 KL 다이버전스의 장점을 결합하여 모드 커버리지와 모드 탐색

핵심 포인트

• HPD는 순방향 (forward) 및 역방향 (reverse) KL의 이점을 통합하여 모델 증류 과정의 안정성과 성능을 개선했습니다.
• 제안된 HPD 프레임워크는 오프정책(off-policy) 데이터를 경량화된 근사 온정책(approximate on-policy) 샘플링과 결합합니다.
• HPD는 긴 생성 수학 추론, 짧은 대화 및 코드 작업 등 다양한 태스크에서 최적화 안정성, 계산 효율성, 최종 성능 향상을 입증했습니다.