AMD의 로컬 AI용 Lemonade SDK, NVIDIA CUDA 지원 추가

Lemonade SDK는 OpenAI, Anthropic, 그리고 Ollama API와 호환되는 방식으로 API 준수 로컬 AI 서버 기능을 제공합니다. Lemonade는 풍부한 오픈 소스 (open-source) 로컬 AI 경험을 위해 FastFlowLM, vLLM, Llama.cpp 및 기타 구성 요소를 기반으로 구축되었습니다. AMD Ryzen AI NPU, Radeon/Instinct GPU 가속기, x86_64 CPU와 같은 자사 제품을 지원하는 것을 넘어, Apple Metal GPU 및 AArch64 CPU 지원도 포함하고 있습니다. 흥미롭게도, Lemonade 10.7에서는 경쟁사의 GPU에서도 동일한 로컬 AI 서버 경험을 누릴 수 있도록 NVIDIA CUDA 지원을 추가했습니다.

Lemonade 10.7은 이제 Windows 및 Linux에서 Llama.cpp의 CUDA 백엔드 (back-end)를 Lemonade의 적절한 NVIDIA GPU 감지 및 기타 통합 요소와 함께 제대로 통합합니다. Linux용 stable-diffusion.cpp CUDA 백엔드도 추가되었습니다. 또한, 이번 릴리스는 더 폭넓은 벤더 간 GPU 지원을 위해 Windows와 Linux 모두에서 stable-diffusion.cpp Vulkan 지원을 제공합니다.

Lemonade 10.7은 또한 LMX-Omni 모델 지원, 실시간 통계 모니터링을 위한 네이티브 Prometheus 엔드포인트 (end-point), 그리고 기타 개선 사항을 추가했습니다.

Lemonade 10.7에서 흥미로운 점은 Llama.cpp, FastFlowLM, vLLM, 그리고 Ryzen AI 소프트웨어 전반에 걸쳐 동일한 조건에서의 LLM 벤치마킹에 집중하는 lemonade bench 명령어를 추가했다는 것입니다. 저는 lemonade bench가 어떻게 벤치마킹을 수행하는지 확인해 볼 것이며, 향후 Phoronix 기사에서 이를 활용할 수 있기를 기대합니다.

Lemonade 10.7 다운로드 및 이 오픈 소스 기능 릴리스에 대한 자세한 내용은 GitHub를 통해 확인할 수 있습니다.