BWLA: LLMs의 W1AX 양자화 장벽 돌파

요약

본 기술 기사는 대형 언어 모델(LLMs)의 메모리 및 컴퓨팅 요구사항 문제를 해결하기 위해 BWLA (Binarized Weights and Low-bit Activations)라는 새로운 양자화 프레임워크를 제안합니다. BWLA는 가중치를 1비트로 압축하는 동시에 활성화에 저비트 정밀도(예: 6비트)를 적용하여, 기존 방법들이 해결하지 못했던 활성화의 무거운 꼬리 문제를 극복하고 높은 정확도를 유지합니다. 이 프레임워크는 Qwen3-32B 모델에서 뛰어난 성능을 보여주었으며, 추론 속도 향상과 다양한 NLP 작업에서의 개선을 입증하며 LLM 경량화에 큰 잠재력을 제시합니다.

핵심 포인트

• BWLA는 1비트 가중치와 저비트 활성화(예: 6비트)를 결합한 포스트 트레이닝 양자화 프레임워크이다.
• 직교 크로네커 변환(OKT)을 사용하여 단일 모달 가중치를 대칭 이분 모달 형식으로 효율적으로 변환하고 불일치성을 줄인다.
• 근접 SVD 투영(PSP)을 통해 최소한의 오버헤드로 양자화 가능성을 높여 성능과 경량화를 동시에 달성한다.
• Qwen3-32B 모델에 적용 시, 6비트 활성화에서도 높은 정확도를 유지하며 추론 속도 향상 3.26배를 달성했다.