llama.cpp 서버의 모델 관리 기능 도입: 다중 LLM 운영 가이드

llama.cpp의 서버 기능에 혁신적인 모델 관리(Model Management) 기능이 추가되어, 로컬 환경에서 여러 대규모 언어 모델(LLM)을 효율적으로 운영할 수 있게 되었습니다. 이 업데이트는 사용자들의 요청이 많았던 Ollama과 같은 스타일의 다중 모델 관리를 가능하게 합니다.

🚀 핵심 아키텍처 및 작동 방식

새로운 llama-server는 단순한 HTTP 서버를 넘어, 여러 LLM을 동시에 처리하는 라우터(Router) 역할을 수행합니다. 가장 큰 특징은 각 모델이 독립적인 프로세스에서 실행된다는 점입니다. 이 다중 프로세스 아키텍처 덕분에, 특정 모델에 문제가 발생하여 충돌하더라도 다른 서비스가 중단되지 않는 높은 안정성을 확보했습니다.

1. 서버 시작 및 자동 감지:
모델 관리를 위해 llama-server를 아무 모델 지정 없이 실행하면 (라우터 모드), 시스템은 자동으로 다음 위치들에서 GGUF 파일을 검색합니다:

• 기본 캐시 경로 (LLAMA_CACHE 또는 ~/.cache/llama.cpp)
• 사용자가 지정한 디렉토리 (--models-dir ./my-models)

2. 효율적인 메모리 및 자원 관리:
서버는 모델의 로딩을 지능적으로 관리합니다.

• 온디맨드 로딩 (On-demand loading): 모델은 처음 요청이 들어왔을 때만 메모리에 자동으로 로드됩니다. 이후 동일한 모델에 대한 요청은 이미 메모리에 있으므로 즉시 응답할 수 있습니다.
• LRU Eviction: 동시에 로드할 수 있는 최대 모델 개수(--models-max, 기본값 4)를 초과하면, 시스템은 Least Recently Used (LRU) 정책을 적용하여 가장 오랫동안 사용되지 않은 모델부터 메모리에서 언로드(unload)합니다. 이는 제한된 GPU/RAM 자원을 효율적으로 활용하게 합니다.

🛠️ 개발자를 위한 활용 가이드

1. API를 통한 라우팅 및 제어:
개발자는 curl과 같은 HTTP 클라이언트를 사용하여 특정 모델을 지정해 요청할 수 있습니다. 요청 본문(data)의 `