The GB10 Solution Atlas is now open source, the inference engine made for the

요약

새롭게 오픈 소스로 공개된 Atlas는 LLM 추론 엔진으로, 기존의 Python 기반 스택 병목 현상을 해결하기 위해 전체 스택을 재작성했습니다. Pure Rust와 CUDA만을 사용하여 vLLM 대비 최대 3배 이상의 높은 처리량(throughput)을 달성하며, 특히 DGX Spark (GB10) 환경에서 Qwen3.5-35B 모델의 경우 지속적으로 약 111 tok/s를 기록하는 등 뛰어난 성능을 보여줍니다. 이 엔진은 다양한 최신 LLM 아키텍처와 API를 지원하며, 커뮤니티 기여를 통해 계속 발전할 예정입니다.

핵심 포인트

• Atlas는 Pure Rust + CUDA로 구현되어 Python 런타임 및 일반적인 스택 병목 현상을 제거했습니다.
• DGX Spark (GB10) 환경에서 Qwen3.5-35B 모델을 vLLM 대비 최대 3배 높은 처리량으로 구동할 수 있습니다.
• Attention, MoE, Mamba-2 등 최신 아키텍처에 맞춰 손으로 튜닝된 CUDA 커널을 사용합니다.
• Multi-Token Prediction (MTP)과 같은 고급 기술을 활용하여 디코딩 성능을 극대화했습니다.
• 다양한 LLM 모델(Qwen3.6, Gemma, Minimax2.7 등) 및 API를 지원하며, 개발자 커뮤니티의 기여가 필수적입니다.