BitCPM-CANN: Ascend NPU 기반의 네이티브 1.58비트 대규모 언어 모델(LLM) 학습

요약

Huawei Ascend NPU 환경에서 1.58비트 삼진 양자화 인식 학습(QAT)을 구현한 BitCPM-CANN 연구를 소개합니다. 기존 GPU 기반 파이프라인을 CANN 및 Megatron-LM으로 포팅하여, 전정밀도 모델 성능의 최대 97.2%를 유지하면서도 메모리 사용량을 획기적으로 줄였습니다.

핵심 포인트

• Ascend NPU 기반 최초의 엔드 투 엔드 1.58비트 LLM 학습 시스템 구현
• 전정밀도 모델 대비 최대 97.2%의 성능 유지 및 메모리 약 6~8배 절감
• 학습 처리량 오버헤드를 4.5% 수준으로 최소화하여 효율성 확보
• 1B~8B 규모 모델에서 삼진 가중치의 실질적 추론 능력 입증