whichllm - 내 하드웨어에서 실제로 돌아가고 최고 성능을 내는 로컬 LLM 찾기

요약

whichllm은 사용자의 실제 하드웨어 사양을 자동으로 감지하여, 파라미터 크기나 단순한 벤치마크 점수가 아닌 실측 성능 기반으로 최적의 로컬 LLM을 추천하는 CLI 도구입니다. 이 도구는 NVIDIA, AMD, Apple Silicon 등 다양한 환경을 지원하며, 다중 벤치마크를 통합 채점하고 모델 신뢰도 및 계보를 분석하여 정확도를 높였습니다. 또한, 원커맨드 워크플로우와 하드웨어 플래닝 기능을 제공하여 개발 과정의 효율성을 극대화합니다.

핵심 포인트

• 하드웨어 기반 실측 벤치마크로 최적 로컬 LLM 자동 추천 (파라미터 크기 무시)
• NVIDIA, AMD, Apple Silicon 등 다양한 하드웨어 환경을 지원하는 범용 CLI 도구
• LiveBench, Chatbot Arena ELO 등 다중 지표를 통합한 정교한 점수 산출 시스템 도입
• 원커맨드 워크플로우(`whichllm run`)로 모델 다운로드부터 채팅까지 자동화된 개발 경험 제공
• 하드웨어 플래닝 및 비교 기능으로 구매 전 GPU 환경 시뮬레이션 가능