AGoQ: 대규모 언어 모델 (LLM) 의 메모리 효율적 분산 훈련을 위한 활성화 및 경사 양자화

요약

AGoQ는 대규모 언어 모델(LLM)의 메모리 효율적인 분산 훈련을 위해 활성화와 경사 양자화 기술을 결합한 새로운 프레임워크입니다. 이 방법은 레이어별로 최적의 비트 폭을 할당하여 활성화를 거의 4-bit 수준으로 저장하고, 통신 시간을 줄이는 8-bit 경사 및 All-Reduce를 사용합니다. 실험 결과, AGoQ는 기존 최고 수준의 분산 훈련 시스템 대비 메모리를 최대 52% 절감하고 훈련 속도를 크게 향상시키면서도 모델 정확도를 유지할 수 있음을 입증했습니다.

핵심 포인트

• AGoQ는 활성화(Activation)와 경사(Gradient) 양자화를 결합하여 LLM의 메모리 효율성을 극대화합니다.
• 활성화 측면에서 레이어 인식 알고리즘을 사용하여 최적의 비트 폭 할당으로 4-bit에 근접한 저장량을 달성했습니다.
• 경사 측면에서는 8-bit 저장을 통해 메모리를 절감하고, 정밀도 보존 All-Reduce 통신을 구현하여 병목 현상을 줄였습니다.
• AGoQ는 Megatron-LM, DeepSpeed 등 기존 시스템 대비 최대 52%의 메모리 절감과 1.34배의 훈련 속도 향상을 보여주었습니다.