Day 2: 게이팅 위기(Gating Crisis) — 토큰을 누락시키지 않고 희소 MoE 라우터(Sparse MoE Router) 역할을 수행할 수 있는가? 🧠⚡

Mixture of Experts (MoE) 모델(Mixtral 8x7B, DeepSeek-V3, GPT-4 등)은 각 토큰에 대해 신경망의 일부만을 활성화함으로써 최첨단 성능을 달성합니다. 하지만 이러한 효율성은 핵심 구성 요소인 **게이팅 네트워크 (Gating Network, 또는 라우터 (Router))**에 의존합니다.

만약 라우터가 잘못된 배정을 수행하거나 특정 전문가(Expert)에게 과부하를 주면, 시스템은 퍼플렉시티 붕괴 (perplexity collapse), 용량 저하 (capacity drops), 또는 환각 급증 (hallucinatory spikes) 현상을 겪게 됩니다.

저희의 인터랙티브 시스템 시리즈 Day 2를 위해, 우리는 여러분이 직접 게이팅 라우터가 되는 교육용 시뮬레이터를 제작했습니다. 여러분의 임무는 엄격한 하드웨어 및 인지적 제약 조건 하에서 들어오는 멀티모달(multimodal) 토큰을 전문화된 피드포워드 네트워크 (Feed-Forward Networks (FFNs))로 배정하는 것입니다.

🧠 왜 MoE 모델에는 게이팅 네트워크가 필요한가?

라우팅이 왜 그토록 중요한지 이해하려면, 대규모 언어 모델 (Large Language Models, LLMs)을 확장할 때 발생하는 계산 비용을 살펴보아야 합니다:

1. 스케일링 문제 (The Scaling Problem): 모델 파라미터(예: 7B 파라미터에서 100B+ 파라미터로)를 확장하면 LLM은 더 똑똑해지지만, 이를 실행(추론 (inference))하는 것은 매우 느리고 비용이 많이 듭니다.
2. 조건부 계산 (Conditional Computation): Mixture of Experts (MoE) 아키텍처는 피드포워드 레이어 (Feed-Forward Layers)를 별도의 전문화된 "전문가 (Experts)"(보통 8개 또는 16개의 서브 네트워크)로 분리함으로써 이 문제를 해결합니다.
3. 문지기 (라우터 (Router)): 게이팅 네트워크는 라우팅 관리자 역할을 합니다. 이는 각 토큰이 도착할 때마다 이를 평가하여 어떤 Top-K (일반적으로 2개) 전문가가 이를 처리해야 할지 결정합니다.
   • 예를 들어, Mixtral 8x7B 네트워크에서는 토큰당 8개의 전문가 중 2개만 활성화됩니다. 이를 통해 모델은 47B 파라미터 모델의 추론 능력을 갖추면서도, 13B 활성 파라미터 모델의 속도와 계산 비용을 유지할 수 있습니다!

부하 분산(Load-Balancing)의 과제: 만약 라우터(router)가 제대로 학습되지 않는다면, 모든 유입 토큰을 동일한 "인기 있는" 전문가에게만 보낼 수 있습니다. 이는 다른 전문가들이 완전히 유휴 상태(idle)로 있는 동안, 특정 전문가에게 엄청난 계산 병목 현상(용량 과부하)을 일으킵니다. 현대의 MoE(Mixture-of-Experts) 모델들은 라우터가 모든 전문가에게 부하를 균등하게 분산하도록 강제하기 위해 특수한 수학적 손실 함수(loss functions)를 사용합니다.

🎮 여기서 직접 플레이해보세요

🎮 전체 화면에서 게임 실행하기

📟 도전 과제

당신에게는 떨어지는 토큰들([T] 텍스트(Text), [M] 수학(Math), [V] 비전(Vision), [A] 오디오(Audio), [C] 코드(Code))이 있는 컨베이어 벨트가 주어집니다. 당신은 이 토큰들을 가장 적합한 전문가에게 라우팅해야 합니다. 현대의 MoE 모델은 **Top-2 라우팅 (Top-2 Routing)**을 사용하므로, 토큰이 배출 임계값(eviction threshold)에 도달하기 전에 반드시 모든 토큰에 대해 두 명의 전문가를 선택해야 합니다.

⚙️ 시뮬레이터 제어 방법:

• 단축키 라우팅(Hotkey Routing): 1에서 8까지의 키(또는 단순화 모드에서는 1에서 4까지)를 사용하여 FFN 전문가를 선택합니다.
• 활성 라우팅 구역(Active Routing Zone): 토큰은 **노란색 점선(라우팅 게이트웨이 활성, Routing Gateway Active)**과 빨간색 점선(게이팅 임계값, Gating Threshold) 사이를 떨어지는 동안에만 라우팅할 수 있습니다. 토큰이 너무 높이 있을 때 키를 누르면 아무런 동작도 일어나지 않습니다!
• 활성 전문가 수(Active Expert Count): **4-전문가(단순화 모드, 4-Expert Simplified)**와 8-전문가(엔터프라이즈 모드, 8-Expert Enterprise) 네트워크 아키텍처 간을 전환할 수 있습니다. 권장되는 키는 실시간으로 동적 변경됩니다!
• 런웨이 커스터마이징(Runway Customization): 라우팅 런웨이 크기(Routing Runway Size) 슬라이더를 조절하여 노란색 활성화 선을 위아래로 움직일 수 있습니다. 런웨이가 길어지면 생각할 시간이 더 많아지며, 런웨이가 짧아지면 저사양 엣지 하드웨어(low-context edge hardware) 환경을 모사합니다.
• 토큰 이동 속도 및 생성률(Token Movement Speed & Spawn Rate): 하강 속도와 생성 간격을 독립적으로 조절할 수 있습니다. 느린 속도에서 빠른 생성률을 설정하면 처리량(throughput)의 균형을 맞출 수 있지만, 컨베이어 정체에 주의하세요!

⚠️ 시스템 혼잡 및 진단

대시보드 상단에 있는 실시간 메트릭(metrics) 패널을 계속 주시하세요:

• 라우팅 지연 시간 (Routing Latency): 토큰이 노란색 활성 라인(active line)을 통과하는 순간부터 Top-2 라우팅(routing)을 확정하는 순간까지의 인지적 지연 시간(밀리초 단위)을 측정합니다.
• 용량 저하 (Capacity Drops): 너무 많은 토큰을 동일한 전문가에게 라우팅할 경우(예: 모든 토큰을 Generalist에게 전송), 해당 전문가의 대기열이 **전문가 용량 제한 (Expert Capacity Limit)**을 초과하게 됩니다. 과부하된 대기열은 토큰을 드롭(drop)하며, 이는 시스템 실패로 이어집니다.
• 라우팅 퍼플렉시티 (Routing Perplexity): 라우팅 정확도를 추적합니다. 수학 토큰을 언어학 전문가에게 라우팅하면 출력의 일관성(coherence)이 저하됩니다.

🕶️ 하드 모드: 마스크 라우팅 힌트 (Mask Routing Hints)

더 높은 난이도에 도전하고 싶다면, MASK ROUTING HINTS 스위치를 켜세요. 이 기능은 토큰 위의 주요 추천 배지를 숨기고 전문가 카드 위의 맥동하는 외곽선(pulsing outlines)을 억제합니다. 여러분은 어떤 전문가가 어떤 토큰 모달리티(modalities)를 수용하는지에 대한 이해에만 전적으로 의존해야 합니다!

🛠️ Antigravity로 제작됨

이 게임은 순수 바닐라 HTML5, CSS3(레트로 CRT 스캔라인 및 사이버펑크 네온 효과 포함), 그리고 브라우저에서 직접 빈티지 신시사이저 사운드를 생성하기 위한 Web Audio API를 사용하여 제작되었습니다.

이 게이팅 라우터(gating router)를 만드는 과정에서 해를 입은 서버는 없습니다.

여러분이 어떤 설정 프리셋(configuration presets)의 균형을 맞추었는지 알려주세요! Edge Toaster 프리셋에서 100% 정확도를 유지할 수 있나요? 여러분의 스코어카드를 아래 댓글에 게시해 주세요! 🚀