MACaQ의 2차 헤시안 정제(Hessian Refinement)가 패치 없이 모든 GGUF에 적용 가능함을 발견하고 시도해 본 결과: 13%

요약

MACaQ의 헤시안 정제(Hessian Refinement) 기법을 활용하여 GGUF 양자화 모델의 성능 개선 가능성을 제시했습니다. 이 방법은 별도의 추론 소프트웨어 패치 없이 단순히 GGUF 파일을 교체하는 것만으로 LLM의 KLD를 낮추고 벤치마크 성능을 향상시키는 것을 목표로 합니다. 특히 Google/Deepmind 버전의 헤시안 최적화는 추가 컴퓨팅 자원이나 VRAM 증가 없이 높은 효과를 보였습니다.

핵심 포인트

• GGUF 파일 교체만으로 모델 패치 없이 성능 개선 가능.
• 헤시안 정제 기법이 KLD 감소 및 벤치마크 성능 향상에 도움.
• 추가 컴퓨팅 자원이나 VRAM 증가 없이 적용할 수 있음.
• Unsloth 대비 낮은 KL divergence 값을 달성함 (테스트 세트 기준).