제가 무언가를 놓치고 있는 것 같습니다(아마도 기술적인 문제일 것입니다). 하지만 CUDA GPU가 장착된 장비에서 추론 엔진을 설정할 때 지속적으로 문제를 겪습니다. 최근에는 RTX Pro 6000 Blackwell에서 작동하도록 하려고 상당한 시간을 보냈습니다. SGLang, TensorRT, llama.cpp를 포함하여 여러 추론 프레임워크를 설치하려고 시도했지만 성공하지 못했습니다. 결국 소스에서 llama.cpp를 빌드하는 데는 성공했습니다. 모델은 올바르게 로드되었지만, llama 서버로 보내는 모든 추론 요청이 CUDA 오류를 발생시켜 프로세스가 중단되었습니다. 대안으로 macOS에서 매우 원활한 경험을 제공한다고 생각되는 LM Studio를 고려해 보았습니다. 여기(https://lmstudio.ai/docs/developer/core/headless)에서 헤드리스 Linux 버전을 제공한다는 것을 알게 되었습니다. 이를 설치하고 문제없이 추론을 실행할 수 있었습니다. 하지만 성능은 M1 Pro macbook의 llama.cpp로 일반적으로 관찰하는 것보다 눈에 띄게 낮았습니다. LM Studio가 자체적으로 사전 빌드된 llama.cpp 백엔드를 포함하며, 이는 다음 위치(.:lmstudio/extensions/backends/llama.cpp-linux-x86_64-nvidia-cuda12-avx2-2.24.0/llama-server)에 있다는 것을 알고 있었습니다. 이 바이너리에서 llama-server를 직접 실행하는 것이 초기 문제를 해결했습니다. CUDA와 즉시 작동했고 제가 기대했던 성능을 제공했습니다. 저 같은 불운하거나(아니면 기술이 부족한, ㅎㅎ) 사람들에게 알려드리고자 이 글을 올립니다. LM Studio 헤드리스 버전을 단일 단계로 설치하고 번들된 llama-server 바이너리를 직접 사용할 수 있다는 것입니다. 이 접근 방식은 CUDA와 관련된 일반적인 설정 및 호환성 문제를 대부분 피할 수 있게 해줍니다. 단점으로는 LM Studio에 포함되는 llama.cpp 버전의 지연이 있을 수 있습니다. P.S.: 나중에

llama.cpp는 최고의 도구입니다. 제출자: /u/erSajo [링크] [댓글들]