Basalt에 대한 감상글! Blackwell을 가지고 계신가요? 기쁘지 않으신가요?

Basalt의 제작자인 jesdga95님께 감사드립니다. Basalt는 Strata를 기반으로 한 Blackwell 하드웨어용 포크입니다! 저는 5060ti 16GB와 보잘것없는 32GB RAM 시스템을 사용하여 75tok/sec 및 128k에서 1200 prefill (물론 q2 모델로)를 달성했습니다. 이를 위해 kv에 q4를 적용해야 했지만, 받아들일 수 있습니다. 정말 멋집니다. 제 시스템은 OS와 모든 프로그램에 약 5GB만 남긴 채 간신히 버티고 있지만, 전용 코딩 에이전트로서 제가 가진 것을 고려할 때 더 행복할 수는 없습니다... 훨씬 더 멋진 것은 그분이 제가 Strata q1에 대해 불평했을 때 실제로 연락을 주셨고, 제가 3.8 Flash를 잘 구동하는 여정을 시작했을 때도 그러했습니다. 사람들이 실제로 도구를 만들고 다른 사람들과 직접 공유하며 돕는 살아있는 인터넷 커뮤니티를 보는 것은 정말 멋집니다. 매우 친절합니다. https://github.com/jesdga95/basalt 저는 deepseek4에게 장난을 치게 하여 더 많은 RAM을 할당하는 빌드 플래그를 추가해야 했지만, 작동했습니다!! 정말 감사합니다 :) 제출자: /u/ironicstatistic [링크] [댓글]