제2부: GPU 라이브러리 지원 - 추론 (Inference)

요약

Nvidia DGX Spark, Strix Halo, M5 Max 환경에서 다양한 GPU 라이브러리와 양자화 포맷을 활용한 LLM 추론 성능을 비교 분석합니다. 각 하드웨어별 지원 포맷과 토큰 생성 속도(tok/s) 데이터를 제공합니다.

핵심 포인트

• Nvidia DGX Spark는 NVFP4, FP8 등 다양한 포맷과 강력한 추론 성능을 지원함
• Strix Halo는 GGUF Q4 지원이 제한적이며 Vulkan/ROCm 환경을 권장함
• M5 Max는 MLX 및 Metal을 통해 안정적인 4-bit 추론 성능을 보여줌
• 하드웨어 아키텍처에 따라 양자화 포맷과 최적의 추론 스택이 달라짐