요약

chenxingqiang/YiRage 는 C++ 기반의 고성능 LLM 추론 최적화 라이브러리로, 기존 Mirage 를 확장하여 CUDA, MPS, CPU, Triton, NKI, cuDNN, MKL 등 다양한 하드웨어 및 소프트웨어 백엔드를 통합 지원합니다. 개발자는 특정 GPU 아키텍처나 환경에 제한받지 않고 유연하게 모델을 배포할 수 있으며, 멀티플랫폼 추론 성능을 극대화할 수 있습니다.

핵심 포인트

• YiRage 는 CUDA, MPS, CPU, Triton, NKI, cuDNN, MKL 등 7 가지 이상의 백엔드를 통합 지원합니다.
• 기존 Mirage 라이브러리의 기능을 확장하여 더 넓은 범위의 하드웨어 환경에서 LLM 추론을 가능하게 합니다.
• C++ 로 작성되어 고성능 및 낮은 지연 시간을 요구하는 프로덕션 환경에 적합합니다.