GyRot: 저비트 LLM 추론을 위한 회전(Rotation)과 미세 그룹 양자화(Fine-grained Group Quantization)

요약

GyRot은 저비트 LLM 추론을 위해 회전(Rotation)과 미세 그룹 양자화를 결합한 새로운 알고리즘-하드웨어 공동 설계 프레임워크입니다. CoRFiG와 HAP 기술을 통해 양자화 정확도를 높이고 하드웨어 오버헤드를 최소화하여 효율적인 LLM 배포를 가능하게 합니다.

핵심 포인트

• 회전과 그룹 양자화 간의 불일치 문제를 해결하는 GyRot 제안
• CoRFiG 및 HAP 도입으로 양자화 정밀도와 효율성 동시 확보
• 완전 정수 역양자화를 지원하는 제로 포인트 반올림 전략 적용
• LLaMA 모델에서 SOTA 4비트 정확도 달성
• 기존 가속기 대비 최대 3.4배 속도 및 3.6배 에너지 효율 향상