AI를 로컬에서 구동하는 데 실제로 필요한 RAM 용량

최근 출시된 고급 AI PC들은 가격 때문에 사람들이 '어떤 것이 돈값을 할까?'라는 잘못된 질문을 던지게 만듭니다.

실제로 무엇을 구동할 수 있는지를 결정하는 숫자는 가격, 코어 개수, 또는 TOPS 수치가 아닙니다. 그것은 모델에 얼마나 많은 통합 메모리(unified memory)를 제공할 수 있는지, 그리고 그중 운영체제가 사용할 수 있는 부분이 얼마나 남는가입니다.

이것이 제가 더 많은 하드웨어 페이지에서 보고 싶었던 사양표입니다.

모델 클래스별 실제 요구 사항

• 소형 모델 (7–8B 파라미터): 4비트 양자화(quantisation) 기준으로 약 5 GB
• 중형 모델 (30B): 컨텍스트를 추가하기 전, 4비트 기준으로 약 15–20 GB
• 대형 모델 (70B): 컨텍스트 포함, 4비트 기준으로 약 35–40 GB

컨텍스트(Context)는 사람들이 종종 잊는 부분입니다. 긴 대화 기록, 큰 시스템 프롬프트, 창에 열린 코드 저장소 등 모든 것이 가중치(weights)와 동일한 메모리 공간을 차지합니다. 이 부분을 예산으로 잡지 않으면 세션 도중에 벽에 부딪히게 될 것입니다.

통합 메모리의 함정 (The unified-memory catch)

이러한 기기들에서는 CPU와 GPU가 하나의 풀(pool)을 공유합니다. 128 GB 사양의 기기가 약 **110 GB의 GPU 접근 가능 메모리(GPU-addressable memory)**를 보고하는 것이 시연되었는데, 이는 전용 79.9 GB와 공유 30 GB로 구성되어 있습니다. 이것은 전체 128 GB가 아니며, 계획을 세울 때 고려해야 할 현실적인 수치입니다.

실질적인 결과는 이렇습니다: 운영체제가 자신의 몫을 가져가기 시작하면 24 GB는 금방 부족해집니다. 64 GB와 128 GB 구성은 마케팅용으로 부풀린 숫자가 아니며, 70B 모델을 구동할 수 있느냐 없느냐의 차이를 만듭니다.

구매 전 던져야 할 세 가지 질문

1. 실제로 어떤 모델들을 실행할 계획입니까? 가장 큰 것을 솔직하게 선택한 후, 그 표를 기준으로 사양을 결정하세요.
2. 얼마나 많은 컨텍스트를 사용할 것입니까? 저장소(repo)가 컨텍스트로 필요한 코드 어시스턴트라면 순수한 가중치 수치의 몇 배가 필요합니다.
3. 꼭 직접 소유해야 합니까? 클라우드에서 추론(inference)을 임대하는 것은 초기 비용이 들지 않으며, 이 기기들이 담을 수 있는 모델보다 훨씬 큰 모델에 접근할 수 있게 해줍니다. 소유는 개인 정보 보호, 지연 시간(latency), 오프라인 작업 및 장기적인 경제성 면에서는 유리하지만, 순수한 성능 자체로 우위를 점하지는 않습니다.

이것이 가격표에 미치는 영향

현재 세대는 $2,599에서 $5,999 사이의 가격대로 판매됩니다. 이 범위에 걸쳐 가장 저렴한 구성과 가장 비싼 구성 사이의 격차 대부분은 메모리 결정에 따른 것입니다. 하단이 24 GB이고 상단이 128 GB입니다. 코어(core)를 위해 더 많은 비용을 지불하더라도 24 GB에 머무른다면, 여전히 원하는 모델을 담지 못하는 기계를 구매하게 됩니다.

따라서: 모델을 선택하고, 필요한 메모리를 도출한 다음, 가격을 비교하세요. 이 순서대로 진행하면 보통 청구 금액이 줄어듭니다.

원문은 SelfHost Pilot에 게시되었으며, 이곳에서 실제 하드웨어에 자가 호스팅 소프트웨어와 AI 스택을 테스트하고 측정된 수치를 발표합니다.

자가 호스팅 소프트웨어 분야에서 실제로 상승하는 트렌드를 (별(star) 개수보다는 커밋 모멘텀으로) 보고 싶다면, 1,700개 이상의 프로젝트를 추적하는 트래커를 유지하고 있습니다: selfhosted-tracker.