하드웨어 다양성을 위한 아키텍처 설계: AMD GPU에서 고성능 AI 학습을 위한 Meta의 엔드투엔드 공동 설계

요약

Meta는 비용 절감과 벤더 종속성 완화를 위해 NVIDIA와 AMD 등 이기종 가속기를 활용하는 아키텍처를 설계했습니다. 본 논문은 모델 구조 및 소프트웨어 레시피 수정을 통해 다양한 하드웨어의 고유 강점을 극대화하는 방법을 제시합니다. 이를 통해 엔드투엔드 학습 처리량을 최대 1.5배 개선하며, AMD GPU 기반 대규모 학습을 위한 새로운 표준을 제시했습니다.

핵심 포인트

• 하드웨어-모델 공동 설계가 필수적이며, 단순 포팅 이상의 접근이 필요함.
• 분석적 성능 모델로 제로-웜업 최적 커널 선택 과정을 획기적으로 단순화함.
• 마이크로아키텍처 인식 최적화를 통해 엔드투엔드 학습 처리량을 최대 1.5배 개선함.