신뢰도를 가지고 양자화하기? 코드 생성을 위한 양자화의 경험적 연구

요약

본 연구는 로컬 환경에서 대규모 코드 모델(Qwen2.5-Coder, CodeLlama)을 구동하기 위해 다양한 양자화 기법(GPTQ, AWQ 등 6가지)이 실제 코드 생성 성능에 미치는 영향을 경험적으로 분석했습니다. 기능적 정확성 외에도 유지보수성, 신뢰성, 보안성 등 다각적인 평가를 수행했으며, 특히 프롬프트 복잡도 변화에 따른 모델의 강건성을 분석하여 실질적인 배포 지침을 제시합니다.

핵심 포인트

• 양자화 기술별로 코드 생성 정확도와 품질에 차이가 있음.
• AQLM은 전체 정밀도 기준선과 동등하거나 그 이상의 성능을 보임.
• QuIP#는 복잡한 프롬프트에서 가장 큰 정확성 저하를 보였음.
• 기능적 정확성을 넘어선 다각적인 평가가 중요함.