llama.cpp 서버의 모델 관리 기능 도입: 다중 LLM 운영 가이드

요약

llama.cpp는 이제 Ollama과 유사한 강력한 모델 관리 기능을 HTTP 서버에 추가했습니다. `llama-server`를 라우터 모드로 실행하면, 지정된 캐시 또는 로컬 디렉토리에서 GGUF 파일을 자동으로 감지하고 여러 LLM을 동시에 운영할 수 있습니다. 이 시스템은 각 모델을 독립적인 프로세스로 분리하여 안정성을 높였으며, LRU(Least Recently Used) 정책에 따라 메모리를 효율적으로 관리합니다. 개발자는 이를 통해 서버 재시작 없이 다양한 모델 버전의 A/B 테스트나 다중 테넌트 배포를 쉽게 수행할 수

핵심 포인트

• llama-server는 기본적으로 라우터 역할을 하며, 별도 모델 지정 없이 실행하면 `LLAMA_CACHE` 또는 `--models-dir` 경로에서 GGUF 파일을 자동 감지합니다.
• 모델은 독립적인 프로세스로 구동되어 한 모델의 충돌이 다른 서비스에 영향을 주지 않는 높은 안정성을 제공합니다.
• 메모리 관리를 위해 최대 로드 가능 모델 수(`--models-max`, 기본값 4)를 설정할 수 있으며, LRU(Least Recently Used) 정책을 적용하여 사용 빈도가 낮은 모델부터 언로드합니다.
• API 요청 시 `model` 필드를 지정하여 원하는 모델로 라우팅이 가능하며, 로드/언로드 API 호출(`curl`)을 통해 모델 상태를 제어할 수 있습니다.