RAM을 32GB에서 64GB로 늘리면서 Qwen3.8-Flash-Next 모델을 IQ2_XS (2-bit)에서 Unsloth

이번 주에 DDR5-5800 RAM을 32GB에서 64GB로 늘렸고, Strata 설정을 IQ2_XS에서 옮겼습니다.

사양: RTX 4090 24GB, i9-14900K, 64GB DDR5-5800, Arch. 모델은 SATA SSD(~550 MB/s)에 저장되어 있어, Strata가 생성 과정에서 디스크에서 데이터를 가져올 때 성능 저하가 발생합니다. RAM이나 VRAM 전문가분들의 조언을 얻고 싶었습니다.

UD-Q4_K_XL은 건너뛰었습니다. 이 모델은 모든 전문가를 RAM에 유지하려면 약 88GB가 필요하며, 64GB 환경에서는 해당 SATA 드라이브에서 전문가 약 19GB를 스트리밍해야 합니다. UD-IQ4_XS는 전문가 약 55GiB입니다. 40GiB의 RAM 예산과 나머지 부분을 4090이 담당하여 적합합니다. 로그에 따르면, RAM에는 전문가 40.00 GiB가 로드되었고 파일에서 블롭 읽기는 없었습니다.

엔진은 Strata 0.1.45이며, 컨텍스트는 262K(네이티브, YaRN 없음), q4_0 KV, MTP 초안을 사양 4로 설정했습니다.

간단한 수치:

• 디코딩: 짧은 프롬프트에서 초당 87-98 토큰 (t/s)
• 36K 토큰 니들 테스트: 발견됨, 프롬프트 2,000 t/s, 디코딩 94 t/s
• 136K 토큰 니들 테스트: 발견됨, 프롬프트 2,850 t/s, 디코딩 92 t/s
• 전문가 캐시 적중률: ~91%
• 도구 호출: 깨끗함. 첫 시도에 올바른 함수와 인수가 지정됨
• 실행 후 남은 RAM: ~11GB

참고로, IQ2_XS는 같은 카드에서 140-160 t/s를 기록했습니다. 중간에 IQ3_S도 110-126 t/s로 시도해 보았습니다. 따라서 속도를 일부 포기했습니다. 그 대가로 Strata의 양자화 테이블은 UD-IQ4_XS가 Q8_0의 최고 토큰을 88.9%의 확률로 일치시키며, IQ3_XXS에서는 84.5%, Q2_0에서는 80.6%를 기록했습니다 (IQ2_XS는 이 두 값 사이에 위치하며 테이블에 포함되어 있지 않습니다).

튜닝 과정에서 발견한 두 가지 사항:

Strata 0.1.45는 이제 요청이 아무것도 보내지 않을 때 모델 카드의 샘플링을 사용합니다(temp 1.0 / top_p 0.95 / top_k 20, 생각하기 활성화). 이전 빌드는 그리디(greedy) 방식을 사용하여 제가 이전에 보았던 루핑 현상을 설명해 줍니다.

기본 경로의 테일 스킵(STRATA_ROUTE_TAIL_SKIP=7)은 RAM 예산 모드에서 Unsloth 파일에 대한 KL을 Q8_0 대비 약 두 배로 증가시킵니다. 저는 이 값을 0으로 설정했습니다. 만약 품질을 위해 4-bit 양자화를 사용한다면, 이 부분을 확인해 보세요.

현재 Strata의 보정기(calibrator)를 실행하고 있습니다 (pcie-frac, pool workers, draft settings). 오늘 밤에는 동일한 4090에서 밀집된 Qwen3.8 27B 모델을 사용하여 실제 코딩 작업에 대해 NInfer와 비교 테스트할 예정입니다. 결과를 올리겠습니다.

저의 4비트 사용자분들께도 어떤 팁이든 환영합니다!

제출자: /u/Distinct-Pie2389
[링크] [댓글]