<div align="center">
<picture>
<source media="(prefers-color-scheme: dark)" srcset="https://raw.githubusercontent.com/FlashML-org/FreeToken/main/assets/freetoken-logo-dark.svg">
<source media="(prefers-color-scheme: light)" srcset="https://raw.githubusercontent.com/FlashML-org/FreeToken/main/assets/freetoken-logo-light.svg">
<img alt="FreeToken" src="https://raw.githubusercontent.com/FlashML-org/FreeToken/main/assets/freetoken-logo.svg" width=65%>
</picture>
</div>
<p align="center">
| <a href="https://www.flashml.ai/"><b class="">다운로드</b></a> | <a href="https://arxiv.org/abs/2608.16157"><b class="">논문(Paper)</b></a> | <a href="https://join.slack.com/t/flashml/shared_invite/zt-3zpdh5j10-9dwTXrgLiqpVxizhA9KVbA"><b class="">개발자 Slack</b></a> | <a href="https://discord.gg/MsA277cJzZ"><b class="">커뮤니티 Discord</b></a> | <a href="https://github.com/FlashML-org/FreeToken/issues/482"><b class="">커뮤니티 WeChat</b></a> |
</p>
이미 소유하고 있는 하드웨어에서 데이터센터급 지능을 구현하세요. 게이밍 PC에서 290B 이상의 최첨단 Mixture-of-Experts (MoE) 모델을 폭발적인 인터랙티브 속도로 로컬 구동할 수 있습니다.
소개
FreeToken은 개인 및 소비자 하드웨어에서 최첨단 규모의 오픈 가중치(open-weight) 모델을 구동하도록 설계된 엣지 네이티브 Mixture-of-Experts (MoE) 서빙 엔진입니다. 이는 이기종 엣지 리소스—GPU, CPU, 호스트 메모리, 인터커넥트—를 통합되고 탄력적인 추론 플랫폼으로 취급합니다. 주요 기능은 다음과 같습니다:
- Fast Edge-Native Runtime: 대역폭 적응형 CPU–GPU 공동 실행($q^\star$ 정책), 전체 레이어 이중 버퍼링 프리필 스트리밍, 전역 LRU 전문가 캐싱, 그래프 호환 실행 및 FTW 빠른 가중치 형식을 통해 효율적인 MoE 서빙을 제공합니다.
- Semantic-Aware Caching: 순환 상태(recurrent state)와 KV 캐시를 위한 의미론적 앵커 체크포인트 기능을 갖추고 있어, 에이전트 컨텍스트 편집(예: 도구 호출, 사고 블록) 시 중복된 컨텍스트 재계산을 방지합니다.
- Elastic Memory Management: 엔진 재시작이나 가중치 재로딩 없이 전문가 캐시와 KV 메모리 간의 동적 런타임 VRAM 재할당을 지원합니다.
- Broad MoE & Ecosystem Support: 다양한 파라미터 스케일과 양자화 형식(예: MXFP4, NVFP4, FP8, BF16, GGUF)에 걸쳐 최첨단 오픈 가중치 MoE 모델(예: DeepSeek-V4-Flash, Qwen3.6-35B-A3B, GLM-5.2)을 지원하며, Anthropic/OpenAI와 호환되는 API를 통해 실제 코딩 및 도구 호출 에이전트(예: Codex, Claude Code, OpenCode, OpenClaw, DeepSeek Harness)와의 원활한 통합을 제공합니다.
- Diverse Consumer Hardware: NVIDIA RTX 30, RTX 40, RTX 50 시리즈 GPU에 대한 네이티브 지원과 함께 소비자용 노트북, 게이밍 데스크톱 및 워크스테이션 GPU 전반에서 확장성을 갖추고 있습니다.
사용 시작하기 (Getting Started)
데스크톱 앱 (Desktop app)
flashml.ai에서 Windows 또는 Linux용 FreeToken을 다운로드하세요. 이 앱은 엔진 설정을 완료하고 모델 실행, 채팅 및 엔진 튜닝을 위한 GUI를 제공합니다.
<div align="center">
<img alt="FreeToken Desktop" src="https://raw.githubusercontent.com/FlashML-org/FreeToken/main/assets/desktop-console.png" width=92%>
</div>
CLI (Command Line Interface)
uv를 사용하거나 pip을 사용하여 FreeToken을 설치하세요(권장).
uv pip install "freetoken[accel]"
또는 소스에서 빌드합니다:
git clone https://github.com/FlashML-org/FreeToken.git && cd FreeToken
uv venv && source .venv/bin/activate
uv pip install -e ".[accel]"
더 자세한 내용은:
인용 (Citation)
연구에서 FreeToken을 사용한다면, 다음 논문을 인용해 주십시오:
@article{yang2026freetoken,
title={FreeToken: Efficient Edge-Native MoE Serving with Bandwidth-Adaptive Execution},
author={Yang, Shuo and Fan, Xiaoze and Pan, Melissa and Xi, Haocheng and Wang, Zhe and Sun, Shanlin and Keutzer, Kurt and Han, Song and Zaharia, Matei and Xu, Chenfeng and Stoica, Ion},
...
감사의 말 (Acknowledgment)
FreeToken은 mini-sglang에서 깊은 영감을 받았으며,
다음 프로젝트들로부터 디자인과 코드를 학습하고 재사용했습니다:
SGLang,
vLLM,
FlashInfer,
flash-linear-attention,
LightLLM 및 llama.cpp.
라이선스 (License)
Apache License 2.0.
