요약(TL;DR): 추론(inference) 시 MoE 라우팅 테일(routing tail)을 얼마나 건너뛸 수 있는지 테스트했습니다. 35B MoE 모델에서 라우팅된 전문가(experts) 중 약 28%(가중치가 낮은 전문가들)를 제거해도 GSM8K 정확도는 변하지 않았습니다. 라우팅 테일은 매우 중복적인 것으로 보입니다.

배경
Mixture-of-Experts (MoE) 모델에서 라우터(router, 게이트)는 토큰당 상위 k개의 전문가를 선택합니다(예: 256개 중 8개). 그리고 각 전문가에게 가중치를 할당합니다. 이 가중치들은 균등하지 않습니다. 일반적으로 몇몇 전문가가 라우팅을 지배하는 반면, 테일(tail) 부분은 출력의 아주 작은 부분만을 기여합니다. 모델 자체가 토큰별로 어떤 전문가가 중요한지를 신호로 보냅니다.

질문
품질이 저하되기 전까지 저가중치 테일(low-weight tail)을 얼마나 많이 건너뛸 수 있을까요?
전역적으로 top-k를 낮추는 것은 모델이 k개의 전문가를 모두 기대하도록 학습되었기 때문에 성능을 해치는 것으로 알려져 있습니다. 여기서 테스트한 대안은 토큰별 임계값 설정(per-token thresholding)입니다. 라우터가 할당한 점수가 균등한 점수(1/k)보다 훨씬 낮을 때만 해당 전문가를 건너뜁니다. 이 임계값은 연속적인 다이얼처럼 작동하며, 분류(triage)는 고정된 개수가 아닌 라우터 자체의 판단에 의해 수행됩니다.

방법론
모델: 35B MoE, top-k 256개 중 8개
생존한 전문가들은 라우팅 질량(routing mass)을 보존하기 위해 재정규화(renormalized)되었습니다. 가중치가 가장 높은 전문가는 항상 유지되었습니다.
품질(Quality): 15개의 GSM8K 질문, 탐욕적 디코딩(greedy decoding) — 샘플링 노이즈가 없으므로, 출력의 차이는 오직 건너뛰기(skipping)에 의해서만 발생합니다.
임계값: 보수적인 수준부터 모든 라우팅의 약 28%가 제거되는 지점까지 범위를 넓혀 테스트했습니다.

결과
기준점(Baseline, 건너뛰기 없음): 15개 중 12개 정답
가장 공격적인 설정을 포함하여 테스트된 모든 임계값: 15개 중 13개 정답
15개 질문 중 12개는 모든 설정에서 동일한 최종 답변을 생성했습니다.
답변 길이는 일정했습니다 — 어떤 임계값에서도 횡설수설하거나 잘리는 현상이 없었습니다.

한계점
13 대 12의 결과는 개선이 아니라 노이즈입니다. 또한 n=15라는 표본 수는 모델의 붕괴를 배제할 수는 있지만, 미세한 비용을 배제할 수는 없습니다. 적절한 평가를 위해서는 수백 개의 샘플과 하나 이상의 벤치마크가 필요합니다.
단일 모델, 단일 양자화(quantization) 모델입니다. 낮은 top-k(예: 128개 중 4개를 라우팅하는 모델, 이 경우 동일한 임계값이 훨씬 더 깊게 잘라냄)에서는 동작이 다를 가능성이 있습니다.

이것이 중요한 이유: 만약 라우팅된 전문가(experts)의 약 28%를 가시적인 손상 없이 제거할 수 있다면, 이는 전문가 로딩(expert loading)이 병목 현상이 되는 모든 곳—오프로딩(offloaded) 설정, 메모리 대역폭 제한(memory-bandwidth-bound) 시스템, 엣지 디바이스(edge devices)—에서 추론 속도를 높일 수 있는 의미 있는 여유 공간(headroom)이 된다는 것을 의미합니다. 라우팅된 전문가를 건너뛰는 것은 해당 전문가의 메모리 트래픽을 완전히 건너뛰는 것을 의미합니다. 모델 전반에 걸쳐 라우팅 테일(routing-tail)의 중복성을 체계적으로 측정하는 논문을 본 분이 계신가요? 댓글로 방법론에 대한 세부 사항을 기꺼이 공유하겠습니다. /u/dai_app가 r/LocalLLaMA에 게시함 [link] [comments]