특화된 GPU 기반 통신을 위한 컴파일
요약
Obaleth는 머신러닝 시스템의 통신 부분을 컴파일하여 연산과 통합하는 새로운 컴파일러입니다. 이 컴파일러는 GPU가 시작하는 통신을 커널 중간 표현(IR)에 포함시키고, 메모리 순서 지정 및 동기화를 최적화합니다. 그 결과, H100 및 B200 같은 다양한 환경에서 대규모 분산 컴퓨팅과 추론 서비스의 성능을 크게 향상시켰습니다.
핵심 포인트
- Obaleth는 통신 부분을 커널 IR에 통합하여 연산과 공동 최적화합니다.
- H100 GPU에서 작은 메시지 전송 속도를 최대 3.3배 빠르게 개선했습니다.
- 256개 GPU 환경에서 all-to-all 통신을 NCCL GIN 대비 2.3배 가속했습니다.
- vLLM 환경에서 Qwen3-235B 서비스 응답 시간을 최대 1.29배 단축했습니다.
AI 자동 생성 콘텐츠
본 콘텐츠는 arXiv cs.PL (Programming Languages)의 원문을 AI가 자동으로 요약·번역·분석한 것입니다. 원 저작권은 원저작자에게 있으며, 정확한 내용은 반드시 원문을 확인해 주세요.
원문 바로가기