로컬 AI 앱을 위한 자동 하드웨어 감지 기능을 구축하는 데 시간을 좀 보냈는데, 이는 추측하는 대신 각 구성에서 실제로 무엇이 실행되는지 직접 테스트해야 함을 의미했습니다. 제가 시작했을 때 어디에서도 명확한 답을 찾을 수 없었기에 이 표를 게시합니다.

GPU 없음, CPU 전용: 작은 채팅 모델 (chat model)과 파일 검색 기능. 사용은 가능하지만 빠르지는 않습니다. 디스크 용량은 약 2.6GB입니다. 사람들은 이 구성을 완전히 배제하곤 하지만, 그래서는 안 된다고 생각합니다.

8GB: 채팅, 이미지 및 도구가 하나의 모델에 포함됩니다. 총 5.1GB입니다. 이 계층은 타협하는 느낌이 들지 않기 시작하는 지점입니다.

10~12GB: 채팅 모델과 함께 전용 비전 모델 (vision model)을 실행할 수 있는 충분한 여유 공간(headroom)이 있습니다. 총 11.1GB입니다.

24GB: 대형 모델, 비전 및 코드가 모두 동시에 상주합니다. 20.6GB입니다.

제가 예상하지 못했던 결과: 10GB VRAM에 32GB 시스템 RAM을 사용하면, 증류 (distillation) 없이 전체 양자화된 가중치 (full quantized weights)를 가진 계층형 35B 희소 모델 (sparse model)을 실행할 수 있습니다. 디스크 용량은 대략 27GB입니다. 빠르지는 않다는 점을 분명히 하고 싶지만, 구동이 가능하고 작동한다는 뜻입니다. 이는 많은 컴퓨터에 장착되어 있는 3080이 일반적인 조언보다 덜 쓸모없는 선택지임을 의미합니다.

테스트를 통해 생각이 바뀐 또 다른 점은, 일정 수준을 넘어서면 모델 크기보다 모델 스와핑 (model swapping)이 더 중요하다는 것입니다. 비전 모델을 실행하기 위해 채팅 모델을 언로드 (unloading)하는 것이, 두 가지를 모두 수행하는 평범한 모델 하나를 영구적으로 실행하는 것보다 낫습니다.

여러분의 수치와 일치하지 않는 부분이 어디인지 궁금합니다. 특히 AMD 그래픽 카드의 경우, 제 테스트 데이터가 원하는 만큼 충분하지 않습니다. (누군가 물어볼 것에 대비한 맥락 설명: 이 결과는 로컬 데스크톱 어시스턴트인 Lemonade를 구축하는 과정에서 나왔습니다. 이 포스트의 주제는 아니지만, 댓글로 질문 주시면 기꺼이 답변하겠습니다.)