단일 스트림 벤치마크 (club-3090)
모델:
qwen3.6-27b-autoround-int4

이전 (BEFORE):
1x3090
단일 3090을 위한 그들의 기본 스크립트 레시피 (4-bit 양자화 (quant) 및 4-bit KV 캐시 (kv cache), mtp=2)
NARRATIVE decode_TPS: 평균 = 53 표준편차 = 0.6
CODE decode_TPS: 평균 = 62 표준편차 = 1.4

이후 (AFTER):
2x3090
듀얼 3090을 위한 그들의 기본 스크립트 레시피 (4-bit 양자화 (quant) 및 8-bit KV 캐시 (kv cache), mpt=3)
NARRATIVE decode_TPS: 평균 = 94 표준편차 = 1.3
CODE decode_TPS: 평균 = 120 표준편차 = 2.1

이것은 NVLink 없이 8x/8x 메인보드에서 실행 중이며, 왠지 모르게 P2P가 자동으로 활성화되었습니다 (드라이버 해킹 불필요). 텐서 병렬성 (Tensor parallelism) = 2

성능에서 거의 선형적인 스케일링 (linear scaling)을 얻었다는 사실에 진심으로 놀랐습니다. Agent 모드(VSCode)에서 큰 코드 파일을 편집할 때 품질 테스트에서 여전히 이상한 파싱 오류가 발생하긴 하지만 (이전과는 다른 오류임), 왠지 모델이 CLI 편집 도구를 사용하도록 강제하는 것이 VSCode가 Agent와 함께 수행하는 방식보다 훨씬 더 안정적입니다. 아마 저도 그들의 8-bit 가중치 (weight) 모델 레시피로 옮겨갈 것 같습니다.
submitted by /u/Civil_Fee_7862 to r/LocalLLaMA