Hexllama 소개

안녕하세요,

저는 항상 llama-server가 로컬 모델을 테스트하기에 충분하다고 생각해 왔습니다. 주로 llama.cpp의 최신 기능과 아키텍처 지원을 항상 보장받을 수 있기 때문입니다.

하지만 모델마다 다른 CLI (Command Line Interface) 명령어, 컨텍스트 크기 (context sizes), 배치 설정 (batch settings) 등을 계속 추적하는 것은 매우 골치 아픈 일이 되어가고 있었습니다. 게다가 두 개의 모델을 동시에 실행하고 싶을 때 여러 개의 터미널 탭을 관리하는 것도 번거로웠습니다.

그래서 저는 Hexllama를 만들었습니다. 이는 사용자의 방해를 받지 않으면서 llama.cpp 관리를 더 쉽게 만들어 주는 빠른 데스크톱 인터페이스입니다. 폐쇄적인 생태계(walled gardens) 없이, 그저 깔끔한 래퍼 (wrapper) 역할을 합니다.

주요 기능:

• 템플릿 기반 실행 (Template-Based Execution): 시각적 에디터를 통해 CLI 플래그 (threads, context 등)를 한 번 설정하고 템플릿으로 저장하면, 이후에는 클릭 한 번으로 실행할 수 있습니다.
• 내장 llama.cpp 버전 관리자 (Built-in llama.cpp Version Manager): 제가 가장 자주 사용하는 기능입니다. ggml-org 저장소를 자동으로 확인하고, 앱 내에서 직접 새로운 릴리스를 다운로드할 수 있게 해주며, 백엔드 (backends)를 즉시 교체할 수 있게 해줍니다 (새로운 모델 아키텍처가 출시되어 특정 빌드가 필요할 때 매우 유용합니다).
• 통합 HF 다운로더 (Integrated HF Downloader): 앱 내에서 HuggingFace를 직접 검색할 수 있습니다. 클릭하여 GGUF 파일을 다운로드하세요. 일시 중지/재개를 처리하며, 다운로드가 완료되면 모델의 파라미터 (parameters)를 기반으로 기본 실행 템플릿을 자동으로 생성합니다.
• 멀티 모델 및 API 전용 모드 (Multi-Model & API Only mode): 충돌 없이 서로 다른 포트 (ports)에서 여러 모델을 동시에 실행할 수 있습니다. 표준 "Chat UI" (내장된 llama.cpp 웹 인터페이스를 엽니다)로 실행하거나, SillyTavern 또는 OpenWebUI와 같은 용도를 위해 백그라운드에서 조용히 서비스할 수 있는 "API 전용" 모드로 실행할 수 있습니다.

이 프로젝트는 완전히 오픈 소스입니다. 주로 저의 워크플로우 (workflow)를 위해 만들었지만, 여러분 중 일부도 bash 스크립트와 씨름하는 대신 이 도구가 유용할 수 있다고 생각했습니다.

무료. 오픈 소스. MIT 라이선스.

GitHub 저장소 + 다운로드: https://andercoder.com/hexllama

(사전 컴파일된 릴리스(pre-compiled releases)를 통한 설치 또는 소스 코드 빌드 가능).

여러분의 의견을 알려주세요! 모든 피드백, 버그 리포트(bug reports), 또는 풀 리퀘스트(PRs)는 매우 환영합니다.

이 서브레딧을 사랑합니다.