몬스트로시티: 5개 Ex mining BC-250 보드로 Qwen3-Coder-Next Q4를 40 tok/s 속도로 구동하기
요약
사용자는 5개의 Ex mining BC-250 보드를 활용하여 Qwen3-Coder-Next Q4 모델을 구동하는 실험 결과를 공유했습니다. 총 71GB의 VRAM을 확보했으며, 30k 컨텍스트에서 40 tok/s를 기록하고 100k 컨텍스트에서는 약 30 tok/s로 속도가 감소함을 보고했습니다.
핵심 포인트
- BC-250 보드 5개 사용으로 총 71GB VRAM 확보
- Qwen3-Coder-Next Q4 모델을 구동하는 성능 테스트 결과 공유
- 컨텍스트 길이 증가에 따라 토큰 생성 속도(tok/s) 감소 확인
- 저비용($800 미만)으로 고성능 AI 컴퓨팅 환경 구축 가능
asrock 12 유닛 케이스에 한 개의 보드를 메인으로 사용하고 나머지는 헤드리스(headless)로 운영 중입니다. 총 약 71GB의 VRAM이 노출되었습니다. 현재 30k 컨텍스트에서 40 tok/s를 기록하며, 100k 컨텍스트에서는 약 30 tok/s까지 떨어집니다. 이 모든 것이 보드에 이미 장착된 1Gb 이더넷을 통해 이루어지고 있습니다. 제가 이 보드를 2개 더 가지고 있어서, 3.8 flash next가 사용 가능한 속도로 구동되는지 확인해 볼 것 같습니다. 이 설정은 전력 효율성은 매우 떨어지지만, 비용은 $800 미만으로 해결했습니다. submitted by /u/Ok-Breadfruit-3523 [link] [comments]
AI 자동 생성 콘텐츠
본 콘텐츠는 r/LocalLLaMA의 원문을 AI가 자동으로 요약·번역·분석한 것입니다. 원 저작권은 원저작자에게 있으며, 정확한 내용은 반드시 원문을 확인해 주세요.
원문 바로가기1