홈랩 빌더가 2.8조 개 매개변수(parameter)의 AI 모델을 CPU만으로 구동하기 위해 2세대 Optane 메모리 스틱 사용

한 홈랩(homelab) 구축자가 Reddit에서 Moonshot AI의 2.8조 개 매개변수(parameter)를 가진 Kimi K3 AI 모델을 단종된 2세대 Optane PMem 200 메모리를 사용하여, GPU가 아닌 40코어 3세대 Xeon Scalable CPU로 추론(inference)을 수행하는 것을 실행했습니다. 이 시스템은 발열이 심하며, 구축자는 온도를 제어하기 위해 모듈에 겨냥된 듀얼 12W 블로어 팬(blower fans)을 사용하여 '활성 DIMM 냉각을 필수적으로 취급해야 한다'고 조언했습니다. 본 프로젝트는 올해 초 다른 사용자가 진행했던 1세대 Optane 구축을 후속으로 진행한 것으로, 1비트 양자화(1-bit quantization)를 적용했음에도 불구하고 느린 속도인 초당 0.85 토큰(tokens per second)으로 작동합니다.

CPU만으로 Kimi K3 (2.8T 매개변수) 구동하는 2세대 Optane PMem 서버, 그리고 RAM을 보호할 수 있는 중요한 열 경고

 r/homelab

Kimi K3는 절대 가정용으로 설계되지 않았습니다[not built for home use]. 저희 추정치에 따르면, Moonshot AI가 데이터 센터 추론 엔진을 권장하고 있으며, 가장 작은 커뮤니티 양자화(quantization) 작업만 해도 최소 610GB의 RAM이 필요합니다. 대신 중고 Optane 메모리를 사용하는 것이 가정에서 해당 용량에 도달할 수 있는 몇 안 되는 방법입니다. 게다가 DRAM 가격이 급등하면서[DRAM prices have skyrocketed] 빌더는 Optane 메모리가 동급 제품 대비 “극히 일부” 비용만 든다고 말합니다.

Intel은 2020년에 3세대 Xeon Scalable CPU용으로 [Optane Persistent Memory 200 Series](PMem 200)를 출시했으며, 용량은 128GB, 256GB, 512GB입니다. 두 소켓(two-socket) Xeon 플랫폼에서 이 메모리는 첫 번째 프로젝트에 사용된 1세대(PMem 100)보다 더 높은 유효 MT/s 속도로 작동하며, 평균적으로 최대 32% 더 많은 메모리 대역폭을 제공할 수 있습니다. Optane은 Memory Mode 또는 App Direct Mode로 실행될 수 있으며, 두 빌드 모두 각 모드를 지원하는 플랫폼을 갖추고 있었습니다.

Memory Mode는 Optane이 시스템 메모리 역할을 하고 DRAM이 캐시 역할을 하는 방식(첫 번째 빌드에서 사용된 방법)인 반면, App Direct는 Optane을 소프트웨어가 직접 매핑하는 별도의 영구 영역으로 노출합니다(두 번째 빌드에서 사용된 모드). 첫 번째 빌드의 제작자 u/APFrisco에 따르면, 이 방식은 “모델의 텐서가 어디에 위치할지 더 많은 제어권을 제공”할 수 있습니다.

Intel Optane Persistent Memory를 사용한 컴퓨터 빌드 - 1조 개 매개변수 모델을 초당 4 토큰 이상으로 구동 가능

r/LocalLLaMA에서 가져온 내용입니다.

Optane을 DRAM 대신 사용하면 성능 저하가 발생하며, 더 높은 3비트 양자화(quantization)를 적용하자 속도는 더욱 떨어져 초당 0.75 토큰에 머물렀습니다. 한 댓글 작성자는 이것이 매우 느리다고 지적하며, 약 1토큰/초 속도로 추정할 때 5만 토큰 작업은 13시간이 걸릴 것이라고 언급했지만, 다른 사용자는 밤새 배치(batch)를 처리하는 경우에는 속도가 그렇게 중요하지 않다는 의견을 제시했습니다. 두 속도 모두 이전 빌드에서 나온 초당 약 4토큰과 비교되지만, 당시 빌더는 Memory Mode와 더불어 RTX 3060으로 모델의 일부를 처리했고, 2비트 양자화(quantization) 및 더 작고 초기 버전인 1조 개 매개변수(parameter) K2.5 모델을 사용했다는 차이점이 있습니다.

최신 빌더 역시 발열 문제에 직면했습니다. Optane DIMM은 지속적인 추론(inference) 과정에서 “극도로 뜨거워져” 주변 DRAM에 위험을 초래할 수 있는 상황이 발생했다고 합니다. 이러한 열 배출량은 Intel 자체 사양과 일치하는데, 제조사는 냉각을 위해 강제 공기 흐름(forced airflow)을 초당 2.4~2.7미터로 측정하며 이는 데이터 센터에서 기대할 수 있는 수준입니다. 일반적으로는 이렇게 직접 메모리 스틱에 바람이 불어오는 정도의 공기 흐름은 경험하기 어렵습니다.

예상 작동 조건 하에서 각 Optane 모듈은 용량과 관계없이 12W 또는 15W를 소모합니다. 만약 빌드에 네 개의 스틱을 사용했다면, 이는 시스템 메모리 바로 옆에 최대 60W의 열이 발생한다는 의미입니다. 이 장치들은 83°C에서 스로틀링(throttling)이 발생하며, 85°C에서 열 차단(thermal trip shutdown)이 일어나는데, 이는 일반적인 DDR4 서버 메모리가 지원하는 확장 범위인 85°C부터 최대 95°C와 비교됩니다. 작동을 유지하기 위해서는 시스템에서 많은 양의 열을 제거해야 합니다.

제시된 성능 수치는 사전 조정(pre-tuning) 상태입니다. 이는 스레드 개수나 NUMA 친화도(NUMA affinity)를 조정하지 않은 상태라는 의미이므로, 개선의 여지가 있습니다. 한 댓글 작성자는 가장 많이 사용되는 전문가(experts)에 대해 DRAM 캐싱을 이용한 메모리 모드(Memory Mode) 사용 여부에 대해서도 질문했습니다. 빌더는 GPU를 추가하고, Optane과 함께 더 빠른 계층(tier)으로 모델의 일부를 DRAM에 로드할 계획이며, "추가 벤치마크 결과가 나올 예정입니다."