게이밍 노트북에서 180B 모델 구동하기: POCKET-Darwin-180B

요약

VIDRAFT가 출시한 POCKET-Darwin-180B는 VRAM 8GB와 시스템 메모리 32GB를 갖춘 일반 소비자용 게이밍 노트북에서 실행 가능한 180B 파라미터 모델입니다. 이 모델은 희소성 Mixture-of-Experts(MoE) 설계, SSD 스트리밍, 그리고 llama.cpp 런타임을 사용합니다. 핵심은 클라우드 API의 속도를 능가하는 것이 아닙니다. 핵심은 클라우드 API가 접근할 수 없는 환경, 즉 에어갭(air-gapped) 및 규제 시스템에 도달하는 것입니다.

주장

최근 한 중국 AI 매체가 이 모델을 '180B 모델이 게이밍 노트북으로 이동하다'라는 제목으로 다루었습니다. 그들은 이를 대규모 모델을 로컬에서 구동하기 위한 하드웨어 장벽의 큰 하락으로 프레이밍했습니다. 이러한 관점은 저희의 설계 목표와 일치합니다. 저희는 POCKET-Darwin-180B를 데이터 센터가 아닌, 오프라인 및 격리된 기기를 위해 구축했습니다.

180B 모델이 VRAM 8GB에 맞는 방법

세 가지 아이디어가 결합하여 작동합니다.

희소성 Mixture-of-Experts (MoE): 이 모델은 180B 파라미터를 가지고 있지만, 토큰당 활성화되는 것은 소수(수십억 개 수준)에 불과합니다. 전체 네트워크가 아닌 활성화된 경로에 대해서만 컴퓨팅 비용을 지불합니다.
SSD 스트리밍: Expert 가중치(Expert weights)는 디스크에 존재합니다. 런타임은 필요한 부분만을 스트리밍합니다. 시스템 RAM과 VRAM에는 전체 모델이 아닌 작업 세트(working set)가 저장됩니다.
llama.cpp 런타임: 적당한 하드웨어와 양자화된 가중치(quantized weights)로 실행되는 성숙하고 이식성 높은 추론 엔진입니다.

이 요소들이 결합되어 '서버가 필요하다'는 것을 '이미 가지고 있는 노트북에서 구동된다'로 바꿉니다.

에어갭 시장이 중요한 이유

클라우드 API는 데이터를 외부로 전송할 수 있을 때 쉽습니다. 하지만 많은 구매자는 그렇게 할 수 없습니다. 국방, 의료, 법률 분야의 작업은 종종 법이나 정책에 의해 격리된 네트워크에서 실행됩니다. 이들에게 로컬 하드웨어에서 완전히 오프라인으로 구동되는 모델은 단순한 편의성이 아닙니다. 그것이 유일한 선택지입니다.

이는 클라우드 API 경쟁과는 다른 시장입니다. 질문은 '토큰당 누가 가장 빠른가'가 아닙니다. 질문은 '고객이 이미 가진 하드웨어 안에서, 벽 안에, 누가 아예 구동할 수 있는가'입니다.

우리가 얻는 교훈

로컬 및 오프라인 환경은 데모가 아닌 실제 배포 목표입니다. 게이밍 노트북에서 180B 모델을 구동하는 것은 최첨단 기술(frontier)이 클라우드에만 있는 것이 아님을 보여줍니다. 또한, 보안실의 연결되지 않은 장치에서도 가능합니다.

FAQ

180B 중 3B만으로 충분한가요?

토큰당 희소 MoE(sparse MoE)는 소수의 전문가(experts)만을 활성화합니다. 전체 180B 파라미터가 존재하지만, 각 토큰은 그 일부만을 사용합니다.

클라우드 API보다 느린가요?

네, 노트북에서의 로컬 추론(local inference)은 최적화된 클라우드 엔드포인트보다 느립니다. 이 트레이드오프는 도달 범위(reach)를 위해 지연 시간(latency)을 포기하는 것입니다. 즉, 클라우드가 할 수 없는 곳에서 구동된다는 의미입니다.

어떤 하드웨어가 필요한가요?

보고된 설정은 8GB의 VRAM과 32GB의 시스템 메모리를 갖춘 게이밍 노트북이며, 가중치(weights)는 SSD로부터 스트리밍됩니다.

어디에 적용될 수 있나요?

공기 격리(Air-gapped) 및 규제 환경: 국방, 의료, 법률 등 외부 API로 데이터를 전송할 수 없는 모든 현장에 적용 가능합니다.