llama.cpp용 버전 관리자를 만들게 된 계기

안녕하세요 여러분,
지난 일주일 동안 제가 만든 작은 사이드 프로젝트를 공유하고 싶습니다. 요약하자면, 저는 지난 2월에야 LLM (Large Language Model) 세계에 발을 들였는데, 솔직히 정말 파란만장한 여정이었습니다. 처음에는 LM Studio로 시작했지만, 여러분도 아시다시피 한 도구에 익숙해질 만하면 r/LocalLLaMA에 새로운 "미친" 기능에 대한 게시물이 올라오고 소프트웨어는 이미 뒤처져 있기 마련입니다. 결국 저는 gold standard (표준)처럼 보이는 순수 llama.cpp를 사용하는 것으로 정착했지만, 계속해서 벽에 부딪혔습니다. 업데이트 주기가 너무 빠르고, 특히 자주 출시되는 매력적인 새로운 베타 버전들의 경우 통합된 업데이트 기능이 포함되어 있지 않아 수동으로 업데이트하는 것이 다소... 번거롭게 느껴졌습니다.

그래서.. 약 일주일 전, The Wire를 시청하던 중 (최악의 ADHD 증상 중 하나죠), 왠지 모르게 이런 생각이 들었습니다. "왜 llama.cpp를 위한 nvm 같은 건 없을까?"

Node.js 세계에서 온 저로서는 nvm의 단순함이 그리웠고, 머리 아픈 일 없이 즉석에서 버전을 교체, 설치, 삭제 및 관리할 수 있는 무언가가 필요했습니다. 그래서 Claude와 저의 로컬 Qwen 35B (주로 Qwen)와 함께, 이 프로젝트를 "vibe code (분위기에 맞춰 코딩하기)"로 만들어내기로 했습니다 (제가 이 용어를 쓰고 있다는 게 믿기지 않네요). 모델들은 Go (CLI 도구에 아주 적합하기 때문)를 제안했고, 저는 실제로 Go를 한 줄도 쓸 줄 모르지만, 결국 해냈습니다.

핵심 요약:
이것은 여러분을 대신해 힘든 작업을 처리해 주는 가벼운 버전 관리자입니다. GitHub releases를 찾아다니는 대신, 다음과 같이 수행하면 됩니다:

lvm install latest (사용자의 GPU에 맞는 적절한 빌드를 가져옵니다)
lvm use (활성화된 버전을 전환하며, 선택 프롬프트가 나타납니다)
lvm ls (설치된 항목을 확인합니다)

이 도구는 "shims (심스)"를 사용하여 llama-cli 또는 llama-server와 같은 명령어가 현재 활성화된 버전으로 항상 연결되도록 보장합니다. 따라서 새로운 빌드가 나올 때마다 수동으로 PATH를 수정할 필요가 없습니다. 물론 많은 분이 docker를 사용하여 다양한 버전의 컨테이너를 만드는 방식을 사용한다는 점은 알고 있지만, 저는 일반 사용자들을 위해 더 단순한 무언가를 원했습니다.

면책 조항 (Disclaimer):
이것은 "바이브 코드 (vibe code)" 프로젝트입니다. 제작하는 데 약 일주일 정도 걸렸으며, 제가 필요로 하는 용도로는 놀라울 정도로 잘 작동하지만, 저는 결코 Go 개발자는 아닙니다. 다듬어야 할 예외 상황 (edge cases)들이 있고, 더 많은 테스트가 필요하며, 제가 언어를 깊이 알지 못하기 때문에 아마도 간과했을 부분들이 있을 것입니다. 이 프로젝트에 너무 많은 시간을 쓰고 싶지는 않지만, 적어도 당분간은 커뮤니티에 작은 것이라도 기여하고 싶었습니다. 만약 이 프로젝트의 잠재력을 알아보는 Go 마법사(wizard)가 있다면, 제발 가져가 주세요! Star를 누르고, Fork 하고, 버그를 수정하고, 예외 상황을 다듬어서, 이것이 "재미있는 실험"에서 세련된 도구로 변할 수 있도록 도와주세요.

리포지토리(repo)는 여기서 확인하실 수 있습니다: https://github.com/asertym/lvm

여러분의 생각이 궁금합니다. 이것이 실제로 여러분의 워크플로우 (workflow)를 더 원활하게 만들어 줄 만한 것인가요, 아니면 제가 존재하지 않는 문제를 너무 과하게 생각하고 있는 것인가요? 다시 한번 말씀드리지만, 실제로 Go를 잘 아는 분이 주도권을 잡고 이것을 견고한 무언가로 만들어 주신다면 정말 기쁠 것 같습니다.

여러분의 의견을 알려주세요!
/u/asertym 님이 r/LocalLLaMA 에 게시함
[link] [comments]