EdgeRazor: 혼합 정밀도 양자화 인식 증류 (Mixed-Precision Quantization-Aware Distillation)를

요약

EdgeRazor는 에지 AI를 위해 설계된 경량 프레임워크로, 혼합 정밀도 양자화 인식 증류 기술을 통해 LLM을 효율적으로 압축합니다. 최소한의 코드 수정으로 기존 훈련 파이프라인에 통합되어 성능을 유지하면서도 저비용·고효율 계산을 지원합니다.

핵심 포인트

• 가중치, 활성화 값, KV 캐시를 지원하는 양자화 기술 제공
• 1.58-bit부터 4-bit까지 다양한 혼합 정밀도 지원
• 로짓, 특징, 어텐션 증류를 통한 유연한 모델 압축
• 에지 및 클라우드 환경을 위한 경량화 프레임워크