ELAS: 2:4 활성화 희소성을 통한 저랭크 대형 언어 모델의 효율적 사전 학습

요약

본 논문은 대규모 언어 모델(LLMs) 훈련의 높은 계산 비용 문제를 해결하기 위해 'ELAS'라는 새로운 프레임워크를 제안합니다. ELAS는 저랭크(low-rank) 모델에 2:4 구조적 활성화 희소성을 적용하여, 특히 푸드포워드 네트워크의 제곱 ReLU 활성화 과정에서 메모리 효율성과 계산 가속화를 동시에 달성하는 것이 핵심입니다. 실험 결과, ELAS는 LLaMA와 같은 대형 모델에서 성능 저하를 최소화하면서 훈련 및 추론 속도를 크게 향상시키는 것으로 나타났습니다.

핵심 포인트

• ELAS는 LLM의 메모리 병목 현상을 해결하기 위한 새로운 접근 방식이다.
• 2:4 구조적 활성화 희소성을 적용하여 계산 효율성과 메모리 사용량을 최적화한다.
• 저랭크 모델에 이 기법을 적용함으로써, 기존 방법들이 놓치던 활성화 행렬의 메모리 오버헤드를 줄인다.
• 실험적으로 성능 저하를 최소화하면서 훈련 및 추론 가속화를 입증했다.