llmux 대시보드 [IMG:0] 저는 vLLM과 llama.cpp에서 많은 모델을 테스트합니다. 모델을 교체할 때마다 파라미터를 다시 편집하고, 각 모델을 고유한 방식으로 실행했다가, 종료한 뒤 다음 모델을 다시 실행해야 했습니다. 이는 지루하고 실수하기 쉬운 작업이었습니다. 그래서 이를 관리하기 위해 llmux를 만들었습니다. 사용하는 각 모델은 한 번만 작성하면 되는 프로필(profile)이 되며, 그 이후에는 목록에서 선택하기만 하면 해당 프로필이 속한 엔진에서 바로 시작됩니다. 동일한 엔진을 다른 버전으로 실행하는 것은 단순히 다른 이미지 태그(release, nightly, 또는 소스에서 직접 빌드한 이미지)에 고정된 또 다른 프로필일 뿐입니다. 저와 저희 팀은 실제 업무에 이 도구를 사용하고 있으며, 기능의 대부분은 그 과정에서 나왔습니다. 모든 동작에는 헤드리스 CLI (headless CLI) 쌍(llmux up, ps --json, logs, bench)이 있어 스크립트로 실행하거나 SSH를 통해 실행할 수 있습니다. 요구 사항: Linux, NVIDIA GPU, 그리고 Docker가 필요합니다. GPU 패스스루 (GPU passthrough)를 위해 NVIDIA Container Toolkit을 사용하므로, macOS와 AMD/ROCm은 아직 지원되지 않습니다. 설치 방법 (저장소를 클론하고, uv를 설정하며, llmux를 PATH에 추가합니다): curl -fsSL https://raw.githubusercontent.com/Bae-ChangHyun/llmux/main/install.sh | sh 또는 수동 설치: git clone https://github.com/Bae-ChangHyun/llmux.git | cd llmux uv tool install --editable . && uv tool update-shell 저장소: https://github.com/Bae-ChangHyun/llmux 문서: https://Bae-ChangHyun.github.io/llmux/ 이것은 저의 개인 프로젝트이며, MIT 라이선스를 따릅니다. 영어가 제 모국어가 아니기에, 이 게시물을 작성하는 데 LLM의 도움을 받았습니다.