저비트 양자화(Low-bit quantization)는 효율적인 LLM 추론을 위해 필수적이며, 회전(rotation)과 미세 그룹 양자화(fine-grained group quantization)는 각각 개별적인 가능성을 보여주었습니다. 그러나 회전의 전역적(global) 특성과 그룹 스케일링(group scaling)의 국소적(localized) 동작 사이의 불일치로 인해, 이 둘을 결합하면 종종 정확도 저하나 하드웨어 오버헤드가 발생합니다. 우리는 알고리즘-하드웨어 공동 설계(algorithm-hardware co-design)를 통해 이 간극을 메우는 양자화 프레임워크이자 하드웨어 가속기인 GyRot을 제안합니다. GyRot은 Coarse Rotation, Fine Grouping (CoRFiG) 및 Harmonic-Aligned Permutation (HAP)을 도입하여 회전과 그룹 양자화의 협력적 통합을 가능하게 하며, 스케일링 인자(scaling factor)의 정밀도를 완화하면서도 양자화 가능성(quantizability)을 향상시킵니다. 하드웨어 비용을 더욱 줄이기 위해, 우리는 비대칭 양자화(asymmetric quantization)를 재구성하고 완전 정수 역양자화(fully integer dequantization)를 가능하게 하는 제로 포인트 반올림(zero-point rounding) 전략을 도입합니다. INT4 기반 텐서 PE 아키텍처에 구현된 GyRot은 LLaMA 제품군 모델 전반에서 최첨단(state-of-the-art) 4비트 정확도를 달성하는 동시에, 기존 LLM 가속기 대비 최대 3.4배의 속도 향상과 3.6배의 에너지 효율을 제공합니다. 이러한 결과는 확장 가능하고 에너지 효율적인 LLM 배포를 위한 GyRot의 실질적인 유효성을 입증합니다.