대부분의 로컬 LLM 논의는 잘못된 질문으로 시작됩니다:

"내가 실행할 수 있는 가장 큰 모델은 무엇인가요?"

하지만 더 나은 질문은 다음과 같습니다:

"내 CPU, RAM, GPU 및 사용 사례(use case)에 실제로 적합한 모델은 무엇인가요?"

그것이 바로 오늘 제가 whichllm에 주목하게 된 이유입니다.

Repository: https://github.com/Andyyyy64/whichllm

License: MIT

Language: Python

Python requirement: 3.11+

Package status: 프로젝트 README에 따르면 PyPI에서 사용 가능합니다.

기능

whichllm은 실제 하드웨어를 기반으로 로컬 LLM을 추천하는 명령줄 도구(command-line tool)입니다.

README에 따르면 다음과 같은 기능을 수행할 수 있습니다:

• GPU / CPU / RAM 감지
• 시스템에 적합한 Hugging Face 모델 순위 매기기
• 하드웨어를 구매하기 전에 GPU 시뮬레이션
• 업그레이드 후보 비교
• 목표 모델에 필요한 GPU 찾기
• 스크립트용 JSON 출력
• 복사해서 붙여넣을 수 있는 Python 코드 조각(snippets) 생성

빠른 시작 방법은 간단합니다:

uvx whichllm@latest

GPU를 시뮬레이션할 수도 있습니다:

uvx whichllm@latest --gpu "RTX 4090"

자주 사용한다면:

uv tool install whichllm

이것이 유용한 이유

로컬 LLM 분야는 매우 소란스럽습니다.

사람들은 파라미터 수(parameter count), 벤치마크 스크린샷, 리더보드 순위, 그리고 GPU 자랑을 통해 모델을 비교합니다. 하지만 개인 개발자나 소규모 팀에게 실질적인 질문은 훨씬 더 지루합니다:

• 내 기기에 들어갈까?
• 너무 느려서 고통스럽지는 않을까?
• 더 작지만 최신인 모델이 실제로 더 나을까?
• GPU를 업그레이드해야 할까, 아니면 다른 모델을 선택해야 할까?
• 이 결정을 스크립트에서 자동화할 수 있을까?

whichllm은 이를 CLI 워크플로(workflow)로 바꿔줍니다.

이것이 중요한 이유는 로컬 AI가 단순히 가장 큰 모델을 소유하는 것에 관한 것이 아니기 때문입니다. 그것은 모델을 기기에 맞추는 것에 관한 것입니다.

흥미로운 아이디어: 적합성만으로는 부족하다

단순한 하드웨어 체크 도구라면 다음과 같이 말할 것입니다:

"이 모델은 당신의 VRAM에 적합합니다."

하지만 whichllm은 하드웨어 적합성에 더해 모델 품질 신호와 최신성을 고려한 벤치마크를 사용하여 모델의 순위를 매기는 것을 목표로 합니다.

이 차이점은 매우 중요합니다.

간신히 들어가는 더 큰 모델이 최선의 선택이 아닐 수도 있습니다. 더 작거나 최신인 모델이 더 빠르고, 실용적이며, 일상적인 코딩, 글쓰기, 검색 또는 에이전트 (Agent) 작업에 충분히 좋을 수 있습니다.

이는 특히 1인 AI 워크플로우 (Workflow)에서 매우 중요합니다. 만약 사용자의 기기 사양이 제한적이라면, 잘못된 모델 선택 하나하나가 모두 시간 낭비로 이어집니다.

실질적인 1인 기업 활용 사례

1인 AI 스튜디오를 운영한다면, 저는 whichllm을 마법 같은 정답 기계로 취급하지 않을 것입니다.

대신 다음과 같은 의사결정 보조 도구 (Decision assistant)로 활용할 것입니다:

1. 현재 기기에서 실행합니다.
2. 상위 추천 목록을 저장합니다.
3. 실제 작업 요구 사항과 비교합니다.
4. JSON 출력을 작은 모델 선택 대시보드 (Dashboard)에 활용합니다.
5. 하드웨어나 모델 목록이 변경된 후 다시 실행합니다.

이는 가벼운 "로컬 모델 라우팅 (Local model routing)" 워크플로우의 일부가 될 수 있습니다:

작업	모델 선택 로직
요약 (Summarization)	저렴하고 빠른 모델
...

주의해야 할 점

몇 가지 주의 사항이 있습니다:

• 저는 아직 제 개인 기기에 이를 설치하거나 벤치마크 (Benchmark)를 수행하지 않았습니다.
• 하드웨어 감지 및 모델 순위는 최종적인 진리가 아닌 권장 사항으로 취급해야 합니다.
• 실제 성능은 양자화 (Quantization), 런타임 (Runtime), 드라이버 (Driver), 메모리 압박 (Memory pressure) 및 백그라운드 프로세스에 따라 달라질 수 있습니다.
• 이 패키지는 OS 독립적 (OS Independent)이라고 선언되어 있으므로 Windows 지원이 가능할 것으로 보이지만, README의 예시들은 쉘 (Shell) 중심적이므로 Windows에서 원활한 경험을 보장한다고 말하기 전에 반드시 테스트를 거쳐야 합니다.
• 이 도구는 실시간 모델 메타데이터 (Metadata)와 벤치마크 가정에 의존하므로, 결과는 시간이 지남에 따라 변할 수 있습니다.

따라서 이 글을 "이 도구가 완벽한 모델을 보장한다"라고 읽지 마십시오.

대신 다음과 같이 읽어주십시오:

"이것은 단순히 느낌(Vibes)만으로 로컬 LLM을 선택하는 일을 멈추게 해줄 유용한 방법이다."

제가 이 도구를 주목하는 이유

로컬 LLM 도입에는 숨겨진 병목 현상 (Bottleneck)이 있습니다: 바로 하드웨어에 대한 혼란입니다.

많은 사람들이 모델을 로컬에서 실행하고 싶어 하지만, 자신의 노트북이나 데스크톱, 혹은 오래된 GPU가 충분한지 알지 못합니다. 그러한 불확실성이 마찰을 일으킵니다.

whichllm과 같은 도구들은 복잡한 연구 문제를 명령줄 기반의 추천 흐름 (command-line recommendation flow)으로 전환함으로써, 로컬 AI 스택 (local AI stack)을 더욱 접근하기 쉽게 만들어 줍니다.

나의 결론:

다음에 유용하게 쓰일 로컬 AI 도구는 더 큰 모델이 아닐 수도 있습니다. 더 나은 모델 선택 도구 (model-selection tools)일 수 있습니다.

만약 로컬 LLM (Large Language Models)을 실험하고 있다면, whichllm을 살펴볼 가치가 있습니다. 특히 새로운 하드웨어를 구매하거나, 당신의 기기에서 제대로 실행될 가능성이 전혀 없는 모델들을 테스트하느라 주말을 허비하기 전에 말이죠.