whichllm: 하드웨어를 자동으로 감지하여 시스템에서 실제로 실행 가능한 HuggingFace의 최적 로컬 LLM 순위를 매깁니다.
요약
whichllm은 사용자의 하드웨어 사양을 자동으로 감지하여 실행 가능한 최적의 HuggingFace 로컬 LLM 순위를 제공하는 도구입니다. 단순 VRAM 용량을 넘어 벤치마크 기반의 증거 중심 순위를 산정하며, GPU 시뮬레이션 기능도 지원합니다.
핵심 포인트
- 하드웨어 자동 감지를 통한 최적의 로컬 LLM 추천
- 벤치마크 기반의 증거 중심 순위 산정 방식
- 특정 GPU 모델 시뮬레이션 기능 지원
- 스크립팅을 위한 JSON 출력 옵션 제공
whichllm은 하드웨어를 자동으로 감지하여 귀하의 시스템에서 실제로 실행 가능한 HuggingFace의 최적 로컬 LLM (Large Language Models) 순위를 매깁니다.
- 단순히 VRAM 크기만이 아닌, 병합된 벤치마크 (benchmarks)를 기반으로 한 증거 기반 순위 산정
--gpu "RTX 4090"옵션을 통해 하드웨어를 구매하기 전 어떤 GPU든 시뮬레이션 가능- 최신성을 고려한 점수 산정 방식으로 오래된 리더보드 (leaderboard) 항목의 순위를 낮춤
--json플래그를 사용하여 스크립팅을 위한 JSON 반환 가능
여기에서 확인해 보세요:
https://osp.fyi/whichllm
AI 자동 생성 콘텐츠
본 콘텐츠는 X @githubprojects (자동 발견)의 원문을 AI가 자동으로 요약·번역·분석한 것입니다. 원 저작권은 원저작자에게 있으며, 정확한 내용은 반드시 원문을 확인해 주세요.
원문 바로가기0