Mixture-of-Experts (MoE) 는 많은 선도적인 대형 모델이 계산 요구량을 줄이기 위해 채택하고 있습니다. 그러나, MoE 의 전문가 병렬성 (EP) 에서 빈번한 인터-GPU 통신은 성능의 도전과제가 됩니다. 우리는 MoE 에 있어 동적 인-스위칭 컴퓨팅으로 해결될 잠재력이 있는 상당한 중복 인터-GPU 데이터 전송을 관찰했습니다. 불행히도, 기존 솔루션인 NVLink SHARP (NVLS) 은 정적인 콜렉티브와 규칙적인 패턴만 지원하며, MoE 의 비규칙적인 패턴과 동적 통신을 지원하지 못합니다. 기능 격차를 해소하기 위해, 우리는 DySHARP 를 제안했습니다. 이는 MoE 를 가속화하기 위한 통합 동적 인-스위칭 컴퓨팅 솔루션으로, 통신 원시 (primitives) 와 통신 인식 스케줄링을 포함합니다:

1. Dynamic multimem addressing 은 ISA, 아키텍처, 런타인을 공동 설계하며, NVLS 의 동적 확장에 의해 중복 트래픽을 줄입니다. 그러나, 결과적인 트래픽 감소는 두 방향 간에 본질적으로 비대칭적이어서, 직접적인 속도 향상으로 번역되지 못합니다.

2. Token-centric kernel fusion 은 디스패치-컴퓨팅-콤바인 파이프라인을 심층 융합하여, 이 비대칭성을 해결하고 트래픽 감소를 실제 속도 향상으로 변환합니다.

최적의 솔루션과 비교하여, DySHARP 는 최대 1.79$ imes$ 속도 향상을 달성했습니다.