로컬에서 대규모 모델(Large Models)을 실행할 때 가장 난처한 점은 그래픽 카드(Graphics Card)의 성능이 충분하지 않은 것이 아니라, 본인의 카드로 실제로 무엇을 실행할 수 있는지 전혀 모른다는 것입니다.

너무 큰 모델을 선택하면 모델이 완전히 멈춰버리고 팬은 마치 제트기가 이륙하는 것처럼 굉음을 내며 돌아갑니다. 반대로 너무 작은 모델을 선택하면 수천 달러짜리 그래픽 카드가 그저 유휴 상태(Idling)로 머물며 성능을 완전히 낭비하게 됩니다. 저는 이런 고충을 너무나 잘 알고 있습니다.

최근에 이 문제를 해결하기 위해 만들어진 whichllm이라는 커맨드 라인(Command-line) 도구를 발견했습니다.

이 도구가 무엇을 할 수 있는지 자세히 설명해 드리겠습니다.

1. 하드웨어 설정을 자동으로 스캔한 다음, HuggingFace를 샅샅이 뒤져 사용자의 기기에 가장 적합한 모델을 필터링하고 순위까지 매겨줍니다. 사용자가 일일이 하나씩 테스트해 볼 필요가 없습니다.
2. 점수는 근거 없이 산출되는 것이 아닙니다. 추론 속도(Inference Speed)와 양자화 손실(Quantization Loss)을 고려하여 여러 실제 벤치마크(Benchmark) 목록에서 데이터를 가져옵니다. 명령어 하나로 답을 얻을 수 있어 매우 안심할 수 있습니다.
3. 가장 멋진 점은 무엇일까요? 바로 어떤 그래픽 카드든 시뮬레이션할 수 있다는 것입니다. 새로운 카드를 구매하기 전에 해당 카드가 실제로 무엇을 처리할 수 있는지 먼저 확인하세요. 돈을 쓰고 나서 정작 성능이 부족하다는 것을 알게 되어 돈을 낭비하지 마십시오. 반대의 경우도 가능합니다. 특정 모델을 지정하면 어떤 카드가 필요한지 알려줍니다.
4. 모델을 선택하고 나면 명령어 하나로 다운로드 및 실행이 가능하며, 바로 사용할 수 있는 Python 코드 스니펫(Code Snippets)까지 생성해 줍니다. 즉시 적용하여 사용할 수 있습니다.

결론: 로컬에서 어떤 모델을 실행할지 고민 중이거나 그래픽 카드를 충동구매하려는 계획이 있다면, 먼저 이 도구를 설치하여 사전 조사를 하세요. 맹목적으로 추측하는 것보다 백 배는 더 낫습니다.