저자: Nam V. Nguyen*, Thong T. Doan*, Luong Tran, Van Nguyen, Quang Pham

전문가 혼합 (Mixture of Experts, MoE) 아키텍처는 규모를 확장하는 데 있어 초석이 되었으며, GPT-OSS, DeepSeek-V3, Llama-4, Gemini-2.5와 같은 대부분의 대규모 언어 모델 (Large Language Models, LLM)의 핵심 구성 요소입니다. 그러나 MoE에 대한 체계적인 연구는 훈련 및 평가에 드는 막대한 계산 비용으로 인해 심각하게 제한되어 있으며, 이로 인해 대부분의 연구자가 대규모 연구를 수행하는 데 어려움을 겪고 있습니다. 우리는 사전 훈련 (Pretraining) 및 희소 업사이클링 (Sparse-upcycling) 체제를 모두 지원하며, 재현 가능하고 효율적이며 확장 가능한 MoE 연구를 위한 통합 프레임워크인 LibMoE를 소개합니다. 통합된 구현을 넘어, 이 프레임워크는 라우팅 (Routing) 및 전문가 역학 (Expert dynamics)을 조사하기 위한 투명한 분석 도구를 제공합니다. 이러한 기반을 활용하여 우리는 세 가지 차원에서 종합적인 분석을 수행합니다: (i) 전문가 선택 패턴, 라우팅 안정성 및 최적성, 그리고 라우팅 엔트로피 (Routing entropy)가 작업 특화 및 전문가 다양성을 어떻게 드러내는지 다루는 라우팅 역학; (ii) 로드 밸런싱 (Load balancing)에 미치는 경량 초기화 (Lightweight initialization)의 효과, 즉 라우터 초기화의 미세한 변화가 초기 전문가 활용도를 어떻게 형성하는지 입증; (iii) 훈련 체제의 차이, 즉 희소 업사이클링 (Sparse upcycling)과 전체 사전 훈련 (Full pretraining)이 어떻게 서로 다른 라우팅 패턴과 안정성 프로필을 보이는지 밝힙니다. 진입 장벽을 낮추고 평가를 표준화함과 동시에, 우리의 종합적인 분석을 통해 LibMoE는 MoE 연구에 대한 접근성을 넓히고 미래의 혁신을 안내할 신뢰할 수 있는 벤치마크를 구축합니다.

LibMoE는 롤링 릴리스 (Rolling release) 로그를 따르며, 최신 마일스톤이 가장 먼저 나열됩니다.

git clone https://github.com/Fsoft-AIC/LibMoE.git
cd LibMoE

venv

python -m venv .venv source .venv/bin/activate

conda

conda create -n libmoe python=3.9 -y conda activate libmoe

pip install --upgrade pip
pip install -e .
pip install -e .[vlm,lm,eval] # 또는: pip install -r requirements.txt

더 가벼운 환경이 필요하신가요? pip install -e .로 시작하세요.

그 다음 아래 항목들을 추가할 수 있습니다:

• 시각-언어 스택 (Vision-language stack):
  pip install -e .[vlm,eval]

• 언어 모델 사전 학습 (Language-model pretraining):
  pip install -e .[lm]

• 평가 유틸리티 전용 (Evaluation utilities only):
  pip install -e .[eval]

필요한 모든 라이브러리를 설치한 후, 아래의 구성 요소별 가이드를 따르세요:

🖼️ 시각-언어 스택 (Vision-Language Stack) — 희소 업사이클링 (Sparse Upcycling)

LibMoE는 기존의 VLM 백본 (SigLIP/CLIP × Phi)을 처음부터 학습하지 않고도 MoE 강화 아키텍처로 변환하는 간소화된 **희소 업사이클링 파이프라인 (sparse-upcycling pipeline)**을 제공합니다. 이 파이프라인은 사전 학습 (pre-training), 사전 미세 조정 (pre-fine-tuning), 그리고 시각적 지시어 튜닝 (visual instruction tuning)을 지원합니다.

🧠 언어 모델링 스택 (Language Modeling Stack) — 처음부터 시작하는 MoE 사전 학습 (MoE Pretraining from Scratch)

언어 모델링 스택 (Language Modeling Stack)은 모듈형 Transformer 설계, 유연한 라우팅 전략 (routing strategies), 그리고 포괄적인 희소 LLM (sparse LLM) 연구를 위한 다양한 MoE 변체 (variants)를 특징으로 하는 **처음부터 시작하는 엔드투엔드(end-to-end) MoE 사전 학습 (pretraining)**에 집중합니다.

LibMoEv2/
├── docs/
│ ├── pretrain_llm/
...

만약 이 저장소(repository)가 귀하의 연구에 도움이 되었다면, 다음을 인용해 주세요:

@misc{nguyen2025libmoelibrarycomprehensivebenchmarking,
title={LIBMoE: A Library for comprehensive benchmarking Mixture of Experts in Large Language Models},
author={Nam V. Nguyen and Thong T. Doan and Luong Tran and Van Nguyen and Quang Pham},
...