우리는 Mixture-of-Experts (MoE) 모델이 건강한 전문가 생태계를 발전시킬지, 아니면 죽은 전문가로 붕괴할지 예측하는 무차원 제어 매개변수 E = T*H/(O+B)를 소개합니다. E는 라우팅 온도 T, 라우팅 엔트로피 가중치 H, 오라클 가중치 O, 그리고 밸런스 가중치 B라는 4 가지 하이퍼파라미터를 단일 양량으로 결합합니다.

12 개의 통제 실험 (8 개 비전, 4 개 언어) 을 통해 총 11,000 여개의 훈련 에폭을 수행하여 E >= 0.5 만으로도 죽은 전문가가 0 으로 보장되며, 손동 밸런스 로딩 보조 손실의 필요성을 제거함을 확립했습니다. 우리는 CIFAR-10, CIFAR-100, TinyImageNet-200, WikiText-2, 그리고 WikiText-103 에서 이 결과를 크로스 모달로 검증했습니다.

추가적으로 6 개의 발견이 나타났습니다: (1) 죽은 전문가들은 밸런스 손실이 라우터 재탐색을 유도할 때 부활할 수 있습니다; (2) 직교 독성은 데이터셋에 의존하며 보편적이지 않습니다; (3) 작업 복잡도가 임계 E 임계를 이동시킵니다; (4) 모델 과적합은 전문가 생태계 건강과 분리됩니다; (5) 3 단계 MoE 는 자발적으로 2 단계 기능 구조로 붕괴합니다; (6) 생태계 구조는 50 배 범위에 걸쳐 온도 불변입니다. 우리는 E 가 유체 역학의 레이놀즈 수에 비유되는 MoE 훈련을 위한 통합 진단 도구로 작용한다고 제안합니다.