NVIDIA, 코딩 에이전트 및 장문 컨텍스트를 위해 설계된 Rust 런타임 기반의 새로운 로컬 AI 추론 서버 Flare 오픈소스 공개

NVIDIA가 Rust 런타임을 갖춘 새로운 로컬 AI 추론 서버인 Flare를 오픈소스로 공개했습니다. 이 서버는 특히 코딩 에이전트와 장문 컨텍스트 워크로드에 맞춰 구축되었습니다. 🚀

일반 목적의 추론 엔진과 달리, Flare는 Blackwell GPU(DGX Spark 포함)에서 더 많은 성능을 끌어내는 데 중점을 두며, 특히 긴 대화, 반복적인 도구 호출, 지속적인 컨텍스트가 필요한 에이전트를 실행할 때 그러합니다.

흥미로운 점은 다음과 같습니다:

⚡ Rust 기반 서비스: Python은 모델 준비를 처리하고, 실제 추론 런타임은 Python 없이 구동됩니다.

🧠 향상된 메모리 관리: 장시간 실행되는 에이전트 세션을 위해 명시적 메모리 계획(Explicit memory planning), KV 캐싱(KV caching), 대화 상태 재사용 기능을 제공합니다.

🔹 CUDA Graph 실행: 모델 실행 경로는 서비스 전에 준비되고 포착됩니다.

🔁 멀티-GPU 지원: 여러 머신에 걸쳐 추론을 조정하는 Orbit 기능이 포함되어 있습니다.

🔥 DeepSeek 지원: 다른 지원 모델들과 함께 DeepSeek V4.1 Flash를 위한 레시피가 제공됩니다.

이는 아직 하드웨어 및 모델 호환성 제한이 있는 초기 연구 프로토타입입니다. NVIDIA는 이를 vLLM의 대체재로 포지셔닝하고 있지는 않습니다.

여기서 흥미로운 점은 방향성입니다. 추론 엔진들이 단순히 원시 토큰 생성(raw token generation)을 넘어, AI 에이전트가 실제로 작동하는 방식에 맞춰 점점 더 설계되고 있다는 것입니다.

GitHub: https://t.co/i5FzKGTuNf

Oh hey would you look at that? A new inference engine dropped called Flare.

Optimized specifically for sm12x hardware.

Better performance. More room for KV cache.

All with best in class support for the latest models.

Crazy stuff is happening at @YourLocalAILab and @NVIDIAAI. https://t.co/n2SVDfV