SuperPOD용 효율적인 세밀 전송 통신 오프로드: SURMA
요약
대규모 언어 모델(LLM) 서비스 환경에서 발생하는 GPU 간 통신 병목 현상을 해결하기 위해 온칩 원격 메모리 접근 엔진 SURMA를 제안합니다. SURMA는 크레딧 기반 공유 송신 큐와 새로운 순서 지정 방식을 활용하여 제출 지연 시간을 크게 줄이고, 기존 NVLink 대비 높은 전송 효율성을 입증했습니다.
핵심 포인트
- SURMA는 온칩 원격 메모리 접근 엔진으로, GPU 통신 자원 소모 문제를 해결합니다.
- 크레딧 기반 공유 송신 큐를 사용하여 제출 지연 시간을 1.2 μs에서 400 ns로 단축했습니다.
- 512 B 단위의 세밀한 전송이 가능하며, NVLink 대비 높은 대역폭 효율을 보입니다.
- GPU 면적의 0.5% 미만을 차지하면서도 추론 속도를 1.05~1.26배 가속화합니다.
AI 자동 생성 콘텐츠
본 콘텐츠는 arXiv cs.AR의 원문을 AI가 자동으로 요약·번역·분석한 것입니다. 원 저작권은 원저작자에게 있으며, 정확한 내용은 반드시 원문을 확인해 주세요.
원문 바로가기