GPU가 너무 많은 변호사, 파트 3: DeepSeek-V4.1-Flash를 2x DGX Spark와 구형 3090 박스에서 실행.

V100 서버를 사용했던 변호사로부터의 업데이트입니다. 당연히 저는 DGX Spark 두 대를 구매했습니다. 중년 위기는 예정대로 진행되고 있습니다. 이전과 같은 상황입니다: 여전히 변호사이며, Claude Code를 통해 전체 과정을 주도하고 있고, Claude Code가 벤치마크를 실행하고 이 표들을 만들고 이 글을 작성하는 데 도움을 주었습니다. 저는 PLI Labs의 설립자인 Nick Mermiges, Esq.입니다. 아래 레포지토리가 저희 것입니다. 설정은 다음과 같습니다: DeepSeek-V4.1-Flash-1017을 2.75 bpw EXL3에서 vLLM tensor parallel 방식으로 두 개의 Spark에 걸쳐 사용했습니다. 핵심적인 변화는 세 번째 박스, 즉 3090이 장착된 저의 EPYC 시스템입니다. 이 시스템은 Sparks를 위해 두 가지 역할을 수행합니다: - 시스템 RAM에 Engram 테이블을 저장하고 RDMA를 통해 제공합니다. - NVLinked으로 연결된 3090 쌍에서 DSpark speculative drafter를 실행합니다. Sparks에서 확보되는 메모리는 KV cache로 사용됩니다: 약 1.93M 토큰의 풀(pool) 용량입니다. 또한 Sparks의 NVMe에 프리픽스 캐시가 있어 서버 재부팅 후에도 150K 프롬프트를 유지할 수 있습니다. 첫 번째 토큰이 콜드 스타트 시 58.6초 대신 2.58초 만에 돌아옵니다. 숫자로 말씀드리겠습니다. 저는 MiaAI의 sparkDash 프로토콜을 재구현하여 가장 인기 있는 2x Spark 빌드와 사과와 사과를 비교할 수 있도록 했습니다. Sparks는 2300 MHz, 3개 리프레시(reps), 중앙값으로 오늘 테스트했습니다.

테스트 1: 스트림 4개를 사용한 전체 구조화된 출력 (JSON)은 138 tok/s, 322 tok/s였습니다. 코드 생성은 110 tok/s, 192 tok/s였습니다. 산문(Prose)의 경우, temp 0으로 생각만 하는 것은 66 tok/s, 130 tok/s였고, 산문이면서 생각하는 과정(temp 0.7)은 56 tok/s, 105 tok/s였습니다.

프리필 (sparkDash 방식): 프롬프트 토큰당 초속(tok/s) 성능은 다음과 같습니다: 4K에서 2,827, 32K에서 2,667, 128K에서 2,650, 256K에서 2,618 (첫 토큰 도착 시간은 100초). 비교를 위해: - MiaAI는 8K부터 128K까지 2,065–2,155의 프리필 및 bertholomus의 2,439–2,568을 발표했는데, 따라서 프리필 성능 면에서는 이 빌드가 우세합니다. - 코드 생성은 4개 스트림에서 MiaAI의 166 대비 192를 기록했습니다. 제가 뒤처지는 부분도 인정해야 합니다: - 단순 산문(plain prose)에서는 MiaAI가 80.7을 기록하여, 저의 1개 스트림당 66보다 빠릅니다. - 128K 프롬프트 이후 디코딩 속도는 bertholomus의 99 대비 62 tok/s입니다. - 콜드 스타트된 93K 프롬프트 뒤에 걸리는 짧은 요청은 34초를 기다립니다. 이는 같은 테스트에서 bertholomus의 38.6초보다 약간 나은 수치입니다. MiaAI는 다른 버전에서 3.8초를 보고했는데, 이것이 제가 가장 고치고 싶은 부분입니다.

이 작성자는 코드와 JSON을 좋아하며(라운드당 4~5 토큰 허용), 산문은 싫어합니다(약 2토큰). 실제 업무에 사용하기 때문에 정확도 측면에서 말씀드리자면: sudoingX의 KLD 패널에서는 실제 도구 호출(tool-call) 턴이 원본 모델의 최고 토큰과 95.9% 일치합니다 (KLD 0.018). bertholomus는 자체 도구 호출 세트에서 79.4%를 발표했으며, MiaAI는 이를 발표하지 않았습니다. 같은 패널에서 sudoingX의 최신 2.8 bpw 팩이 제 것보다 약간 더 근접합니다 (0.0175 대 0.0184). 따라서 공을 돌릴 곳에 돌리겠습니다. 이 가중치(weights)는 HeNryous의 2.75 bpw 빌드를 법률적으로 가중치를 부여하여 할당한 것입니다. 양자화(quant)에 대한 모든 공로는 그들에게 있습니다. 코드, 실행 스크립트(launch scripts), 벤치마크 도구(bench tool) 및 모든 셀에 대한 원본 JSON은 모두 공개되어 있습니다. 예외는 전처리기 캐시(prefix-cache) 코드이며, 이는 다음 업데이트에서 올라올 예정입니다. - 레포지토리: https://github.com/ProprietaryLegal/DeepSeek-V4.1-Flash-2xDGX-Spark-x86-offload - 원본 데이터: 레포지토리 내의 runs/ 폴더

앞으로 나올 내용:

• 전체 1M 토큰 컨텍스트 테스트;
• 심층적인 llama-benchy 테이블;
• BFCL 도구 호출(tool calling);
• 다른 팩들과 동일한 KLD 테스트에서의 정면 대결.

100 Gb 케이블이 월요일에 설치되므로 Spark에서 3090으로 연결되는 링크도 더 빨라질 것입니다. 제가 무엇을 잘못하고 있는지 말해주세요. 진심으로요. (PLI Labs는 회사의 자체 작업 결과물을 기반으로 구축된 사설, 온프레미스 AI를 위한 저의 부업입니다. proprietarylegal.ai가 관심사라면 그곳입니다. 이것이 전체 제안 내용입니다.) /u/TumbleweedNew6515 제출 [링크] [댓글]