하드웨어 다양성을 위한 아키텍처 설계: AMD GPU에서 고성능 AI 학습을 위한 Meta의 엔드투엔드 공동 설계
요약
Meta는 비용 절감과 벤더 종속성 완화를 위해 NVIDIA와 AMD 등 이기종 가속기를 활용하는 아키텍처를 설계했습니다. 본 논문은 모델 구조 및 소프트웨어 레시피 수정을 통해 다양한 하드웨어의 고유 강점을 극대화하는 방법을 제시합니다. 이를 통해 엔드투엔드 학습 처리량을 최대 1.5배 개선하며, AMD GPU 기반 대규모 학습을 위한 새로운 표준을 제시했습니다.
핵심 포인트
- 하드웨어-모델 공동 설계가 필수적이며, 단순 포팅 이상의 접근이 필요함.
- 분석적 성능 모델로 제로-웜업 최적 커널 선택 과정을 획기적으로 단순화함.
- 마이크로아키텍처 인식 최적화를 통해 엔드투엔드 학습 처리량을 최대 1.5배 개선함.
Meta는 비용 절감과 벤더 종속성 완화를 위해 NVIDIA GPU, AMD GPU 및 독점 MTIA 가속기를 포함하는 이기종(heterogeneous) 플릿을 배치합니다. 그러나 NVIDIA 전용 최적화의 오랜 역사는 다른 하드웨어로의 성능 포터빌리티를 저해합니다. 본 논문은 추천 모델 학습에서 AMD Instinct MI350X와 NVIDIA B200을 비교 사례 연구로 사용하여, 대체 가속기를 최적화하는 우리의 방법을 제시합니다. 우리는 세 가지 재사용 가능한 원칙을 제안합니다. 첫째, 하드웨어-모델 공동 설계가 필수적입니다: 단순히 NVIDIA GPU에서 모델을 포팅하기보다는, 모델 구조와 소프트웨어 레시피를 수정하여 가속기별 고유 강점(예: B200 대비 MI350X의 1.6배 HBM 용량)을 최대한 활용할 수 있게 합니다. 둘째, 우리의 분석적 성능 모델은 다양한 데이터 타입과 행렬 형태를 가진 프로덕션 모델 전반에 걸쳐 제로-웜업 최적 커널 선택을 가능하게 하여 튜닝 과정을 획기적으로 단순화합니다. 셋째, 점점 성숙해지는 에이전틱 워크플로우는 CUDA 생태계로부터의 포팅 장벽을 낮추었습니다. 우리는 이러한 워크플로우를 마이크로아키텍처 인식 커널 최적화 및 맞춤형 shim 생성에 확장 적용했습니다. 직접 포팅된 기준선과 비교했을 때, 이 방법들은 엔드투엔드 학습 처리량에서 최대 1.5배의 개선을 제공합니다. 우리가 아는 한, 이는 대규모 학습을 위해 AMD GPU를 프로덕션하는 최초의 하이퍼스케일러 보고서입니다. 우리의 기여는 오픈 소스 PyTorch, Triton 및 ROCm 생태계에 상향(upstreamed)되었습니다.
AI 자동 생성 콘텐츠
본 콘텐츠는 arXiv cs.AR의 원문을 AI가 자동으로 요약·번역·분석한 것입니다. 원 저작권은 원저작자에게 있으며, 정확한 내용은 반드시 원문을 확인해 주세요.
원문 바로가기