EdgeRazor 방식은 교사 모델 (teacher model)의 로짓 확률 분포 (logit probability distributions)를 학생 모델 (student model)의 저비트 / 혼합 정밀도 (mixed-precision) 은닉층 특징 (hidden-layer features)으로 더 잘 변환하기 위해 엔트로피 가이드 증류 (entropy-guided distillation) 프로세스를 사용하며, 교사 모델의 파라미터 구조를 보존하려고 시도하지 않습니다. 이는 기존의 양자화 (quantization) 방법들보다 계산 비용이 더 많이 들지만, QAT (Quantization-Aware Training)보다는 훨씬 적게 들며 더 나은 결과를 산출합니다. 학생 모델은 극도로 낮은 파라미터 정밀도(저자들은 파라미터당 1.88비트를 입증함)에서도 교사 모델의 역량을 더 많이 보존합니다. 이것은 전통적인 양자화와 같은 다른 내부 표현 (internal representation)이 아니기 때문에, llama.cpp와 같은 추론 구현체들을 이를 활용하기 위해 수정할 필요가 없습니다. 바라건대 이것이 미래에 더 유용한 고파라미터/저메모리 모델들을 의미하여, 우리가 소비자용 GPU에서 더 유능한 추론을 끌어낼 수 있기를 바랍니다. 논문: https://arxiv.org/abs/2605.04062 저자들의 코드: https://github.com/zhangsq-nju/EdgeRazor 저자들은 자신들의 기술을 몇몇 모델에 적용하여 Huggingface에 업로드했습니다: https://huggingface.co/collections/zhangsq-nju/edgerazor-nbit 불행히도 EdgeRazor는 다소 계산 집약적이기 때문에, 그들의 예시 모델들은 모두 상당히 작습니다: MobileLLM, Qwen3-0.6B, Qwen3-1.7B, 그리고 /u/ttkciar가 제출한 Qwen2.5-Omni-7B [link] [comments]