양자화를 위한 Weight Space Programming: Nace가 Qwen 9B, 27B, 35B 및 Flash Next에서 최대 2배

요약

nace.ai는 Qwen 9B, 27B 등 여러 모델에 대한 양자화 기반 GGUF 가중치를 공개했습니다. 기존의 최적화 방식에서 정체기를 겪은 후, 'Weight-Space Programming'을 도입하여 LLM이 작은 모델의 가중치를 직접 편집하는 방식으로 접근했습니다. 이 새로운 방법론은 KL 발산 측면에서 최고 수준의 성능(SOTA)을 달성하며 모델 효율성을 크게 개선했음을 입증했습니다.

핵심 포인트

• Nace는 Qwen 9B, 27B 등 다수 모델에 대한 양자화 가중치를 공개함.
• 기존 최적화 방식의 한계를 극복하기 위해 Weight-Space Programming(WSP)을 도입함.
• WSP는 LLM이 작은 모델의 가중치를 네이티브하게 읽고 편집하는 원리임.
• 새로운 양자화 기법은 KL 발산 측면에서 최고 수준의 성능을 달성했음.