vLLM ROCm has been added to Lemonade as an experimental backend

요약

Lemonade 플랫폼에 vLLM ROCm 백엔드가 실험적으로 추가되었습니다. 이 업데이트를 통해 사용자는 GGUF로 변환되지 않은 원본 .safetensors 형식의 LLM을 vLLM 엔진으로 실행할 수 있게 되었습니다. 이는 기존 llama.cpp와 유사하게 간편한 방식으로 새로운 모델 엔진을 통합하는 것을 목표로 하며, 커뮤니티 피드백을 통해 지속적으로 확장될 예정입니다.

핵심 포인트

• Lemonade에 vLLM ROCm 백엔드가 실험적 기능으로 추가되었다.
• 이 기능을 사용하면 GGUF 변환 없이 원본 .safetensors 형식의 LLM을 실행할 수 있다.
• 사용 방법은 `lemonade backends install vllm:rocm` 명령어를 통해 쉽게 설정 가능하다.
• 이는 커뮤니티 피드백을 바탕으로 점진적으로 확장될 예정인 실험적 기능이다.