deepseek v4.1-flash용 추론 엔진을 처음부터 구축했습니다. 핵심 엔진은 Rust와 CUDA만 사용합니다.

요약

deepseek v4.1-flash용 추론 엔진을 Rust와 CUDA만을 사용하여 처음부터 구축했습니다. 이 커스텀 엔진은 PyTorch나 SGLang 같은 프레임워크를 사용하지 않으며, 4개의 B300 GPU에서 약 1740 TPS의 디코딩 속도를 달성하는 등 높은 성능을 보여줍니다. RDMA 기반 KV 공유 및 부하 인식 라우팅 기능을 구현하여 현재 최고 수준(SOTA)의 추론 서버를 완성했습니다.

핵심 포인트

• Rust와 CUDA만을 사용하여 추론 엔진을 처음부터 구축함.
• B300 GPU 환경에서 최대 2060 TPS의 디코딩 속도를 기록.
• RDMA 기반 KV 공유 및 부하 인식 라우팅 기능을 구현하여 성능 최적화 달성.
• 에이전트 구동 방식 실험을 통해 시스템 안정성과 효율성을 개선함.