디스패치 연산의 오버헤드 진단: 교차 아키텍처 관측소

AlltoAll 디스패치 (dispatch)는 MoE (Mixture-of-Experts) 전문가 병렬성 (expert parallelism)의 지배적인 병목 현상이며, 상호 연결 (interconnect) 커뮤니티는 예측적 샘플 배치 (predictive sample placement), 적응형 전문가 재배치 (adaptive expert relayout), 계층적 집합 통신 (hierarchical collectives), 그리고 EP 인지 토폴로지 (EP-aware topology)라는 네 가지 완화 방식군으로 대응해 왔습니다. 이 네 가지 방식 모두 워크로드에 관한 두 가지 가정에 기반하고 있습니다. 첫 번째는 라우팅 불균형 (routing imbalance)이 시스템 계층에서 교정 가능하다는 것이며, 두 번째는 이를 평가하는 모의 토큰 (mock-token) 벤치마크가 실제 운영 환경의 라우팅을 충실히 나타낸다는 것입니다. 우리는 이 두 가지 가정을 테스트하기 위해 DODOCO를 도입합니다. 우리는 5x6 그리드의 데이터 조건과 H100에서의 4~32 랭크 (rank)에 대한 일치하는 EP 스캔 하에서, 다섯 가지 시퀀스 믹서 (sequence-mixer) 설계 (DeepSeek-V2-Lite MLA, DeepSeek-MoE-16B MHA, Qwen3-30B GQA, Nemotron-30B Mamba-2, Qwen3.5-35B GDN)에 걸친 다섯 개의 MoE 체크포인트를 계측하였습니다. 그 결과 두 가정 모두 실패하는 것으로 나타났습니다. EP 스케일링 (Scaling EP)은 모든 아키텍처의 측정 가능한 범위 내에서 전문가당 최대/평균 토큰 비율을 최대 5%까지만 변화시켰습니다. 즉, 지연 발생 (straggler)은 전문가가 랭크에 어떻게 배치되느냐가 아니라, 모델이 내리는 라우팅 결정에 내재된 문제입니다. 모의 토큰은 라우팅 지니 계수 (routing Gini)를 최대 2.35배까지 과대평가하며, 실제 텍스트가 무작위 ID를 대체하는 순간 사라지는 배치 크기 스케일링 (batch-size scaling) 추세를 조작해냅니다. 동일한 매트릭스에서 예상치 못한 세 번째 패턴이 나타납니다. 다섯 가지 아키텍처가 두 개의 안정적인 밴드 (bands)로 나뉩니다. MHA와 Mamba-2 (데이터 탄력적)는 wikitext에서 지니 계수 0.105와 0.150으로 떨어집니다. MLA와 GDN (지속적으로 집중됨)은 모든 실제 텍스트 조건에서 0.24 이상을 유지하며, 모의 데이터에서는 0.29에서 0.38에 달합니다. GQA는 중간 사례입니다. AlltoAll 인지 상호 연결 및 디스패치 설계를 위한 올바른 워크로드 입력은 EP 정도나 모의 데이터 프로필이 아니라, 바로 이러한 밴드입니다.