닭장 옆 창고에 설치한 AI PC

몇 주 전에 누군가 자신의 욕실 AI PC를 올린 것을 봤습니다. 그래서 저도 닭장과 가까운 창고에 있는 AI PC로 기여해 보려고 합니다. CMP 170HX 하나로 시작해서 총 네 개의 카드를 갖게 되었고, VRAM은 256GB입니다. TRX40 마더보드와 256GB DDR4 RAM이 장착된 중고 Threadripper를 구해서 4개의 170HX를 호스팅했습니다. 비디오/RDP용으로 NVME 슬롯에 연결된 라이저에 꽂은 3050도 추가했습니다. 케이스 공간이 부족해서 그 보드는 공중에 매달려 있습니다 ㅋㅋ. 원래 목표는 AI를 로컬로 돌리면서 돈을 절약하는 것이었습니다. 당연히 이것은 네 개의 170HX, 32코어 Threadripper, 그리고 취미를 아내가 재정적 부담이라고 말할 정도의 수준으로 키우게 되었습니다... 오프. 원래는 옷장에 두었었는데, 열과 아내의 소음 불만 사이에서 결국 GPU들은 창고로 보내지게 되었습니다. 이제 그곳은 에어컨이 있고 별도의 회로에 2개의 20암페어 콘센트가 있는 행복한 장소입니다. 더 이상 소음을 줄이기 위한 팬 커브 조정도 없습니다. 두 개의 170HX에는 캐패시터 모드를 적용하여 QFN을 분할하고, 세 번째 카드에는 Qwen3.8-27B를 구동하고 있습니다. 오늘 네 번째 170HX를 설치했습니다. 4개 모두에서 어떻게 작동하는지 보기 위해 GLM 5.3 Flash EXL3 4.65 bpw를 다운로드 중입니다. 이 괴물이 Qwen4를 어떻게 처리할지 정말 기대됩니다. QFN이 너무 잘 작동해서 Qwen 4가 어떤 모습일지 상상조차 할 수 없습니다. /u/sevendaysworth 작성