LlamaStash가 대부분의 추론 엔진을 지원하게 되었습니다 (20개 이상 테스트: llama.cpp, vLLM, SGLang, Strata

LlamaStash의 v0.10 버전을 방금 출시했습니다. 저는 주로 Ollama, LM Studio, 그리고 llama.cpp를 직접 사용하는 과정에서 느꼈던 좌절감과 터미널 UI에 대한 애정 때문에 LlamaStash 개발을 시작했습니다. 저는 여러 추론 엔진(inference engines)에 구애받지 않고 작동할 수 있는 통합 인터페이스를 원했고, 이 과정에서 엔진별로 특화된 복잡한 내용들을 다루는 것을 피하고 싶었습니다. 하지만 그 이후로 (6개월 전부터 시작했지만), 환경이 많이 바뀌었고, 여러 엔진과 LlamaStash를 호환되게 만들기 위해 투자했던 시간과 노력이 결실을 맺었습니다. 이제 LlamaStash는 제가 테스트한 대부분의 추론 엔진을 지원하며, 통합된 터미널/웹 UI, CLI(Command Line Interface), 에이전트 인터페이스, 그리고 보안 프록시를 제공합니다. 이 기능 세트는 주로 로컬 LLM에 깊이 빠져들면서 저 자신의 필요와 실험에 의해 주도되었습니다. 선택지가 너무 많았고, 더 나은 성능을 찾아 추론 엔진 사이를 끊임없이 옮겨 다니는 자신을 발견했기 때문에, 이것이 LlamaStash 디자인과 개발의 기반이 되었습니다.

LlamaStash v0.10.0 기능

제가 워크플로우에서 사용하는 방식은 다음과 같습니다:
제 주요 사용 사례는 코딩(OSS 프로젝트)과 가끔 하는 채팅입니다. 또한 블로그 헤더 등을 위해 Krea 2와 MOSS-Image를 통해 에이전트가 이미지를 생성하도록 합니다. pi-automode-classifier 플러그인을 위한 분류기 모델(classifier models)도 실행합니다. 이 모든 것은 128GB Strix Halo (Flow Z13) 및 XPS 15에서 실행됩니다.

현재 각 작업을 위해 제가 사용하는 엔진, 모델 및 양자화(quant)는 다음과 같습니다.

• 주요 코딩 모델: Qwen3.8-Flash-Next @ 256k ctx - 주로 Halogen (v2 체크포인트)과 gufo를 통한 Qwen3.8-Flash-Next-UD-Q4_K_XL 또는 Qwen3.8-Flash-Next-Uncensored-Gufo-Q4Mix를 사용합니다 (최고 품질이나 비검열 버전을 원할 때). 둘 다 여러 프리셋을 가지고 있습니다 (Halogen은 최대 16개의 병렬 슬롯을 제공하도록 구성되었고, gufo는 최대 8개입니다).
• 하위 에이전트(Sub agents): QFN 256k, 128k 또는 64k ctx. 이들은 위에서 실행되는 주 모델로 연결되는 단순한 별칭일 뿐입니다. Ctx(Context)는 클라이언트 측에서 제어됩니다. 폴백 메커니즘(fallback mechanism)은 제가 어떤 엔진이나 양자화를 사용하든 상관없이 이들이 서비스되도록 보장합니다.

이러한 방식으로 1백만 컨텍스트(ctx) 풀에서 4 x 256k 세션 또는 8 x 128k 세션 또는 16 x 64k 세션을 동시에 실행할 수 있습니다. 또한 이들을 혼합하여 동시에 사용할 수도 있습니다. 예를 들어, 2 x 256k와 2 x 128k, 그리고 4 x 64k 세션을 동시에 운영하는 식입니다.

하네스(Harness): 주로 Pi를 사용하며 가끔 Claude Code를 사용합니다. 둘 다 동일한 AGENTS.md 및 플러그인 구성을 공유합니다. Pi는 pi-automode-classifier 플러그인을 사용하여 Claude Code의 자동 모드를 에뮬레이션합니다. 이 플러그인은 도구 호출(tool calls)에 대해 3단계 분류를 수행하며, 규칙 우선(Rules first), 그 다음 분류 모델(classifier model)을 사용하고, 불확실한 항목은 QFN 128k 별칭(alias)으로 전송됩니다.

분류 모델: Jev를 포함하여 여러 가지를 시도해 보았지만, LANCET Nano가 가장 좋고 균형 잡힌 성능을 보여주었습니다. 이미지 생성: Krea 2와 sd.cpp 및 ComfyUI를 통한 MOSS-Image를 수동 이미지 생성 및 조작에 사용합니다.

STT/TTS: STT(Speech-to-Text)에는 whisper.cpp와 NPU에서 Whisper를, TTS(Text-to-Speech)에는 Kokoro를 사용합니다. 만약 당신이 여러 엔진 사이를 이동하며 끊임없이 다른 인터페이스에 적응하는 것에 지쳤다면, LlamaStash를 사용해 보세요. (솔직히 말해서 제가 시장의 모든 유사한 도구를 테스트해보지 않았기 때문에 자신 있게 말할 수는 없지만) 이 시스템이 제공하는 고유한 기능들은 다음과 같습니다:

• YAML 기반 및 극도로 높은 설정 가능성: llama.cpp, vLLM, SGLang에 대한 1급 지원(First class support)을 제공합니다.
• 추가 추론 엔진의 유연한 통합: 간단한 YAML 구성을 통해 무수히 많은 추가 추론 엔진을 선언할 수 있습니다. 바이너리 또는 Docker 컨테이너로 실행되는 경우, LlamaStash에서 쉽게 통합하고 관리할 수 있습니다 (첨부된 이미지는 제가 테스트해 본 모든 엔진을 보여줍니다. RECIPES.md 참고).
• 통합 사용자 인터페이스: 터미널 관리 UI, 웹 채팅 UI, CLI, 에이전트용 --json 모드 및 통일되고 안전한 프록시를 제공합니다.

모델 프리셋(Model presets)은 YAML 설정 파일에서 실행되며, 아키텍처 기본값(architecture defaults), 마지막 사용 파라미터(last used params), 자동 적합(auto fit) 등이 포함됩니다. (이는 다른 구성으로 쉽게 전환하는 데 도움이 됩니다.) 별칭(aliases), 모델 스왑 및 폴백(model swap and fallbacks) 기능도 있습니다. (모델 간 전환을 돕고, 더 큰 컨텍스트(ctx) 실행에서 가짜 모델에 적은 컨텍스트를 할당하는 등의 라우팅을 도와주며, 에이전트 군집(agent swarms) 등에 유용합니다.) 요청 로그(Request logs), 집계 통계(aggregate stats), 메트릭(metrics), 서버 로그 등이 제공됩니다. llamastash init은 하드웨어를 감지하고, llama-server를 설치하며, 시작용 GGUF 파일을 다운로드하고, 최적화된 설정을 작성한 후 실행하는 초기 실행 마법사입니다. TUI(터미널 사용자 인터페이스), CLI(명령줄 인터페이스) 및 데몬을 위한 단일 바이너리입니다. 데몬은 필요할 때 시작되며, 제어 평면(control plane)은 기본적으로 베어러 토큰(bearer token) 뒤의 루프백(loopback) 상태를 유지합니다. 채팅(Chat), 이미지, STT(음성 인식), TTS(음성 합성)가 모두 하나의 프록시 URL을 통해 라우팅되므로, 코딩 에이전트와 블로그 헤더 생성기가 동일한 포트를 사용합니다. 모든 피드백과 기능 요청은 환영합니다. LlamaStash TUI는 /u/deepu105가 r/LocalLLaMA에 제출한 Halogen Flash Next 실행의 요청(Requests) 패널을 보여줍니다.