로컬에서 대규모 언어 모델을 실행할 때 적합한 모델을 찾아주는 whichllm 도구

로컬에서 대규모 모델 (Large Models)을 실행하고 싶지만, 내 그래픽 카드 (Graphics Card)가 실제로 어떤 모델을 처리할 수 있는지 모르겠습니다. 너무 큰 모델을 선택하면 실행되지 않고, 너무 작은 모델을 선택하면 성능 낭비가 됩니다.

그래서 whichllm이라는 명령줄 도구 (Command-line tool)를 찾았습니다. 이 도구는 하드웨어 구성 (Hardware configuration)을 자동으로 감지한 다음, HuggingFace에서 사용자의 기기에 가장 적합한 모델을 필터링하고 순위를 매겨줍니다.

심지어 여러 실제 벤치마크 (Benchmark) 리스트의 점수, 추론 속도 (Inference speed), 양자화 손실 (Quantization loss) 등을 종합하여 단 한 번의 명령으로 정답을 제공합니다.

GitHub:
http://github.com/Andyyyy64/whichllm

이 도구는 어떤 그래픽 카드라도 시뮬레이션할 수 있으므로, 새로운 그래픽 카드를 구매하기 전에 어떤 모델을 실행할 수 있는지 확인할 수 있습니다. 반대 기능도 가능합니다. 특정 모델을 지정하면 어떤 그래픽 카드가 필요한지 알려줍니다.

모델을 선택하면 단 한 번의 명령으로 모델을 다운로드하고 대화를 시작할 수 있으며, 바로 사용할 수 있는 Python 코드 스니펫 (Code snippets)까지 생성할 수 있습니다.

로컬에서 어떤 모델을 실행할지 고민 중이거나, 그래픽 카드를 구매하기 전에 미리 확인해보고 싶다면 이 도구를 설치해서 확인해 보세요.

AI 에이전트 (AI Agents)가 브라우저 작업을 자동화하거나 데이터를 스크레이핑 (Scrape)하도록 할 때, 다양한 안티 크롤링 (Anti-crawling) 메커니즘에 의해 차단되어 캡차 (Captcha)나 사람 인증에 부딪히면 완전히 멈춰버리는 경우가 많습니다.

최근 BrowserAct 팀은 다음과 같은 기능을 수행하도록 설계된 명령줄 도구인 Skill을 오픈 소스로 공개했습니다.