요약

OpenLLM은 단 한 번의 명령으로 Llama 3.3, DeepSeek R1 등 다양한 오픈 소스 LLM을 OpenAI 호환 API로 실행할 수 있게 해주는 도구입니다. 내장된 채팅 UI와 추론 백엔드를 제공하며 Docker 및 Kubernetes 환경에서도 배포가 가능합니다.

핵심 포인트

• OpenAI 호환 API를 통해 오픈 소스 모델을 쉽게 활용 가능
• Llama 3.3, Qwen2.5, DeepSeek R1 등 최신 모델 지원
• 단일 명령어로 로컬 서버 실행 가능
• Docker, Kubernetes, BentoCloud 등 클라우드 배포 지원