EdgeRazor: 혼합 정밀도 양자화 인식 증류 (Mixed-Precision Quantization-Aware Distillation)를

요약

EdgeRazor는 엔트로피 가이드 증류를 활용하여 저비트 및 혼합 정밀도 환경에서 모델 성능을 극대화하는 새로운 양자화 기술입니다. 기존 QAT보다 효율적이면서도 매우 낮은 비트(최저 1.88비트)에서도 교사 모델의 역량을 효과적으로 보존합니다.

핵심 포인트

• 엔트로피 가이드 증류를 통한 혼합 정밀도 양자화 구현
• 파라미터당 1.88비트의 극도로 낮은 정밀도에서도 높은 성능 유지
• llama.cpp 등 기존 추론 엔진의 수정 없이 활용 가능
• QAT 대비 낮은 계산 비용으로 효율적인 모델 압축 가능