[가이드] 단일 RTX 5080 + 64GB RAM에서 Qwen3.8 Flash-Next 구동: 실제 에이전트 코딩 세션에서 >250

요약하자면, Basalt가 핵심 역할을 수행하며 무거운 작업을 처리합니다. 모델 파일과 환경은 동일하지만, 드래프팅 없이도 llama.cpp 대비 약 3.5배의 디코딩 속도를 보여주며, 드래프팅을 사용하면 약 5배, 프롬프트 읽기(prompt reads)는 약 7배 더 빠릅니다. Unsloth의 새로운 UD-IQ3_XXS (Dynamic v3.1, 11월 4일 업로드)는 16GB 카드에서 모두가 사용하는 GSQ-RCO IQ3_S와 동일한 크기이지만 측정 가능한 정확도 향상을 보였습니다: wikitext 퍼플렉서티(perplexity)가 3.382에서 3.247로 감소하여, BF16 (3.273)과의 격차를 실질적으로 줄여줍니다. 디코딩 속도는 1~3.5%의 비용이 발생합니다. Lamina (eddoursul에 의해 추가 학습된 MTP 드래프터)는 기본 Basalt 드래프터보다 더 많은 초안을 수락합니다. 이는 작지만 실제적인 속도 향상이며, 주 모델이 모든 토큰을 검증하기 때문에 품질 저하는 없습니다. 실제 에이전트 코딩 세션 (opencode, 151 요청, 최대 202K 컨텍스트): 평균 디코딩 속도는 195.6 tok/s, 최고 요청은 263 tok/s, 최저 요청은 156 tok/s이며, 프롬프트 읽기 속도는 약 5,700 tok/s입니다.

하드웨어: RTX 5080 16GB (정격 360W 한계치에서 작동, 오버클럭 또는 언더볼트 없음), Core Ultra 9 285K (8P + 16E), 2x32GB DDR5-7200 PCIe 5.0 x16

LAMINA 드래프팅: Basalt는 모델 자체의 MTP 레이어를 사용하여 초안을 작성합니다. Basalt의 상위 버전(upstream)은 이미 해당 레이어의 자기 증류된 버전을 배포하고 있으며, Lamina가 이를 추가로 학습시킵니다. 이는 즉시 적용 가능합니다: 텐서 레이아웃이 동일하므로 대상 모델은 바이트 단위로 동일하며 드래프터만 변경됩니다. 제가 관찰한 결과:

• 초안 작성된 토큰당 수락되는 초안 비율: 실제 기록 세션 재현 시 83.1%에서 85.8%로 증가했습니다.
  Lamina의 README는 온도(temp) 0.7과 최대 3개의 초안을 권장합니다. 저는 두 가지를 모두 테스트했습니다: 3개 초안 제한은 도구 호출 중심 작업(길고 자신감 있는 실행이 잘리는 경우)에서 1~1.8% 느렸으며, temp 0.7은 모델의 작성 내용에 변화를 주므로, 저는 모델 자체 샘플링 (1.0 / 0.95 / 20)과 Basalt의 초안 설정을 유지했습니다.

Basalt에서 제가 수정한 부분 (모든 상위 버전 오픈 PR):
호스트 KV 프리폴트(Host KV prefault): 장시간 대화가 KV 캐시를 RAM으로 넘길 때 처음에는 0.6초에서 2.4초까지 지연되던 것이 이제는 약 75ms로 줄었습니다.
일반 페이지의 호스트 KV 풀(Host KV pool on normal pages): 단편화된 환경에서는 투명 거대 페이지 압축(transparent hugepage compaction)으로 인해 1.5초에서 3.7초까지 지연되던 것이 이제는 약 23ms로 줄었습니다.
디코딩 루프의 대기 중 스핀-딜레이(Spin-then-yield): 초안 창당 시간이 약 1.3% 감소했습니다.

전문가 시작 프로필: 이전 버전인 v1 프로필이 이 시스템에서 v0.2.0보다 2% 더 빠릅니다. 또한 스트리밍 대화 디스크 캐시(streamed conversation disk cache), 전문가 스왑 히스테리시스(expert swap hysteresis)를 위한 --adapt-margin, RAM 복사 없이 탄력적인 KV(elastic KV without RAM copies), 그리고 다양한 타이밍 진단 기능이 추가되었습니다.

정확한 엔진(상위 버전 v0.2.1 + 나의 PR)과 설정 스크립트를 갖춘 가이드 브랜치: https://github.com/xyehya/basalt/tree/flashnext-5080-setup
git clone -b flashnext-5080-setup https://github.com/xyehya/basalt && cd basalt setup/flashnext-ud-lamina/setup.sh bin/basalt serve --config basalt_config-flashnext.json --python .venv/bin/python --alias qwen3.8-flash-next

이 과정은 사용자의 시스템을 확인하고, 빌드하며, 약 90GB(고정된 리비전, 모든 파일 SHA-256 검사)를 다운로드하고, UD-IQ3_XXS + Lamina 모델 파일을 빌드한 다음 설정을 작성합니다. 사용자는 CUDA 13을 지원하는 RTX 카드, 64GB RAM, 그리고 약 180GB의 여유 디스크 공간이 필요합니다.

이미 GSQ-RCO IQ3_S 다운로드가 있는 경우, SHARD4_FROM=을 사용하여 28.8GB n-gram 샤드를 재사용합니다 (샤드 번호가 다시 작성되면 Unsloth의 것과 바이트 단위로 동일합니다).

Basalt에 대한 jesdga95님(저장소 지원 및 별점 부여), UD 양자화(quants)를 위한 Unsloth 팀, Lamina을 위한 eddoursul, GSQ-RCO 양자화를 위한 ISTA-DASLab, 그리고 모델을 위한 Qwhen 4?에 깊이 감사드립니다. 제출: /u/yehyakar [링크] [댓글]