메모리 효율적인 트랜스포머 학습 및 추론을 위한 텐서와 시퀀스 병렬성

요약

본 논문은 텐서 병렬성(TP)과 시퀀스 병렬성(SP)을 하나의 장치 축에 통합하는 새로운 병렬 실행 전략인 '텐서와 시퀀스 병렬성(TSP)'을 제안합니다. TSP는 모델 가중치와 토큰 모두를 동일한 장치 축을 따라 분산하여, 파라미터 메모리와 활성화 메모리를 동시에 효율적으로 줄입니다. 이를 통해 기존의 다차원 병렬성 방식보다 통신 부하가 적은 메모리 오버헤드로 메모리 제약이 큰 대규모 모델 학습 및 추론에 효과적인 하드웨어 인식 솔루션을 제공합니다.

핵심 포인트

• TSP는 텐서 병렬성과 시퀀스 병렬성을 하나의 장치 축(device axis)에 통합하여 효율을 극대화한 새로운 병렬 실행 전략이다.
• 기존 방식과 달리, TSP는 가중치와 토큰 모두를 동일한 축에서 분산 처리함으로써 파라미터 메모리와 활성화 메모리를 동시에 절감한다.
• 어텐션 및 게이트드 MLP 블록에 대한 구체적인 런타임 스케줄러 구현을 제시하여 이론적 분석과 함께 실제 성능을 검증했다.
• TSP는 긴 컨텍스트와 메모리 제약이 있는 대규모 모델 학습/추론 환경에서 기존 병렬성 기법의 강력한 하드웨어 인식 대안으로 활용 가능하다.