수천억 개의 파라미터를 가진 대규모 모델을 개인 컴퓨터에서 구동하는 것은 과거에는 거의 불가능했습니다.

요약

FreeToken은 수천억 개의 파라미터를 가진 대규모 언어 모델(LLM)을 개인용 컴퓨터에서 구동할 수 있도록 설계된 추론 엔진입니다. 이 엔진은 게이밍 GPU 환경에 최적화되어 290B 이상의 MoE 모델도 로컬 실행을 지원하며, CPU와 GPU를 통합 관리하여 VRAM 재할당까지 가능하게 합니다.

핵심 포인트

• 개인용 PC에서 대규모 LLM 구동의 한계를 극복한 추론 엔진입니다.
• GPU, CPU, 메모리를 단일 시스템으로 취급하며 동적 VRAM 재할당이 특징입니다.
• DeepSeek-V4-Flash 등 다양한 오픈 웨이트 모델과 GGUF/FP8 포맷을 지원합니다.
• Anthropic 및 OpenAI 형식에 호환되어 기존 AI 도구와의 연결성이 높습니다.