ConQuR: LLM을 위한 최적화된 회전을 이용한 코너 정렬 활성화 양자화

요약

본 논문은 LLM의 높은 메모리 사용량과 추론 비용 문제를 해결하기 위해 최적화된 회전을 활용한 코너 정렬 활성화 양자화를 제안합니다. 기존 방법들이 요구하던 값비싼 종단 간 훈련이나 대규모 오프라인 데이터 저장 없이도, 경량의 사후 훈련(post-training) 회전 보정화 기법을 통해 Llama 모델군에서 경쟁적이거나 향상된 성능을 달성할 수 있음을 입증했습니다.

핵심 포인트

• LLM 배포 비용 절감을 위해 가중치-활성화 양자화가 필요하지만, 활성화 아웃라이어 문제로 저비트 활성화 양자화는 어려움이 존재함.
• 기존 회전 기반 방법들은 종단 간 훈련이나 대규모 오프라인 데이터 저장 같은 오버헤드를 유발했음.
• 제안된 '사후 훈련(post-training) 회전 보정화' 기법은 이러한 오버헤드 없이 활성화 양자화를 수행할 수 있게 함.
• Llama-2 및 Llama-3 모델에 적용하여, 성능 저하 없이 비용 효율적인 양자화가 가능함을 입증함.