SOTA (State-of-the-Art) 모델을 실행할 수 없다고 불평하거나, $50k 또는 $100k가 필요하다고 주장하는 사람들의 말을 너무 많이 듣습니다.

https://www.ebay.com/itm/398079051468 Epcy Motherboard & CPU - $460
https://www.ebay.com/itm/206374955959 P40 24gb - $230 (2개 구매 시 - $460)
https://www.ebay.com/itm/318489798853 512gb dd4 $1000
합계 = $1920.

PSU (전원 공급 장치), Storage (저장 장치), P40용 Fan (팬)이 필요합니다. 이들은 $350 정도면 쉽게 구할 수 있습니다. 하지만 모든 항목의 총합을 $2500로 맞추기 위해 $580를 예산으로 잡아봅시다.

이 구성으로 MoE (Mixture of Experts) 방식의 GLM5.2 Q2/Q3/Q4 변형 모델들을 llama.cpp를 통해 실행할 수 있습니다. 물론 속도는 느리겠지만, 당신의 소유가 됩니다! 돈이 생기거나 더 여유가 생기면 P40을 4080, 3090 등 더 빠른 GPU로 교체할 수 있습니다. $460보다 조금 더 많은 약 $500 정도면 중국에서 2080ti 22gb GPU 2개를 구할 수도 있습니다. 자원을 잘 활용할 의지만 있다면, 당신에게 필요한 일을 만들어낼 수 있습니다. 이 시스템은 KimiK2.6, DeepSeek, MiniMax 등도 실행할 수 있습니다.

네, 트레이드오프 (Trade-off)는 속도가 느리다는 점입니다. 이 거대한 모델들로 에이전트 (Agents)를 실행할 수는 없겠지만, 계획 수립이나 진지한 디버깅 (Debugging)을 위해 구동할 수는 있습니다. Fable, Mythos 또는 다른 F 모델들을 대체할 수도 있을 것입니다. 당신은 '가진 게 없는 사람들' 그룹에 속하지 않게 될 것입니다.

submitted by /u/segmond
[link] [comments]