GPU에서의 두려움 없는 동시성: Rust를 이용한 안전한 GPU 추론, vLLM/SGLang과 경쟁 가능한 수준

요약

Rust의 소유권 모델을 GPU 커널 작성에 도입하여 메모리 안전성과 데이터 경합 방지를 보장하는 cuTile Rust와 추론 엔진 Grout를 소개합니다. vLLM/SGLang과 경쟁 가능한 수준의 성능을 보여주며, 안전한 커널 작성이 성능 저하 없이 가능함을 입증했습니다.

핵심 포인트

• Rust의 소유권 모델을 통해 GPU 커널의 메모리 안전성 검증 가능
• Qwen3 추론 엔진 Grout 구축 및 RTX 5090/B200에서 높은 성능 달성
• 안전한(safe) 커널 구현 시 성능 손실이 거의 없음(GEMM 기준 92% 수준)
• AI가 생성한 GPU 코드의 신뢰성 문제를 해결할 수 있는 구조적 접근법 제시