Towards Compute-Aware In-Switch Computing for LLMs Tensor-Parallelism on

요약

본 논문은 대규모 언어 모델(LLM)의 텐서 병렬성(TP) 과정에서 발생하는 통신-계산 불일치 문제를 해결하기 위한 'Compute-Aware In-Switch 컴퓨팅' 프레임워크인 CAIS를 제안합니다. 기존의 인-스위치 컴퓨팅 솔루션은 통신 중심 설계로 인해 LLM 계산 커널의 메모리 요구사항과 충돌하여 자원 활용도와 오버랩에 한계가 있었습니다. CAIS는 Compute-Aware ISA 확장, 요청 병합 개선을 위한 Merge-Aware TB 좌표 사용, 그리고 그래프 수준 데이터플로우 옵티마이저를 통해 통신 모드가 계산의 메모리 의미 요구와 일치하도록 설계되어, 다중 GPU 시스템에서 LLM 훈련 속도를 크게 향상시킵니다.

핵심 포인트

• CAIS는 Compute-Aware In-Switch 컴퓨팅을 구현하여 기존 솔루션의 한계를 극복합니다.
• 세 가지 핵심 기술(Compute-Aware ISA 확장, Merge-Aware TB 좌표, 그래프 수준 데이터플로우 옵티마이저)로 구성되어 있습니다.
• LLM 워크로드 평가에서 SOTA NVLS 기반 솔루션 대비 1.38배, T3 대비 1.61배의 성능 향상을 입증했습니다.
• 통신과 계산 단계를 통합하여 다중 GPU 시스템에서의 자원 활용도와 오버랩을 극대화합니다.