Starscream: GPU 파티셔닝을 활용한 AMD Instinct GPU에서의 LLM 샤딩 재구상

요약

GPU 가속기의 증가와 칩렛 기반 아키텍처는 NUMA 특성을 두드러지게 하며, 기존 LLM 병렬화 전략은 성능 저하를 초래합니다. 본 글은 이를 해결하기 위해 Starscream을 제시하며, 인터-GPU 샤딩 대신 직교 차원을 따라 인트라-GPU 샤딩을 추가하는 새로운 접근 방식을 제안했습니다. AMD MI300X 테스트 결과, 이 방식이 칩렛에 무관심한 기준선 대비 최대 4배의 속도 향상을 입증하며 그 효과를 보여주었습니다.

핵심 포인트

• 칩렛 기반 GPU는 NUMA 특성으로 인해 LLM 샤딩에 어려움을 야기함.
• Starscream은 직교 차원 인트라-GPU 샤딩을 추가하여 성능 저하 문제를 해결함.
• 핵심 원칙은 커널 형태 보존, 메모리 중복성 제거, 통신 오버헤드 최소화임.
• AMD MI300X에서 어텐션 처리 시 최대 4배의 속도 향상을 달성했음.