Strata 설정 변경 사항 및 Unsloth UD-IQ4_XS 사용 시 유의사항

제가 Strata 설정을 IQ2_XS에서 Unsloth의 UD-IQ4_XS로 옮기면서 겪은 두 가지 문제점입니다 (RTX 4090, i9-14900K, 64GB DDR5-5800, Arch 사용).

1. 구 버전 빌드에서의 Greedy sampling
Strata 0.1.45 이전 버전에서는 sampling 블록이 없는 실행 설정(run config)의 경우, 요청에서 자체 온도(temperature)를 지정하지 않으면 항상 greedy 방식으로 디코딩되었습니다. 이 greedy 방식 때문에 모델들이 루프에 빠지는 현상이 발생합니다.

0.1.45 버전에서 이 문제가 상위 레벨(upstream)에서 수정되었습니다(#2685). 이제 샘플링 설정이 없는 요청은 모델 카드(model card)의 기본값을 사용합니다:

• Thinking: temp 1.0, top_p 0.95, top_k 20
• Non-thinking: temp 0.7, top_p 0.8, top_k 20, presence penalty 1.5
  이 값들은 Qwen3.8-Flash-Next에 대한 Unsloth의 권장 설정과 일치합니다. 다만, 클라이언트가 전송하는 값이 여전히 우선권을 가집니다. 웹 채팅 페이지 역시 저장되어 있던 0.6 온도를 보내지 않게 되었습니다.

만약 0.1.44 이하 버전을 사용한다면, 업데이트하거나 실행 설정에 다음 내용을 추가해야 합니다:
"sampling": {"temperature": 1.0, "top_p": 0.95, "top_k": 20}

2. Unsloth 4-bit 파일에서의 Route tail skip
0.1.42 버전부터는 기본값이 STRATA_ROUTE_TAIL_SKIP=7입니다. 이 값은 캐시가 놓친 낮은 순위의 전문가(low-ranked experts)를 건너뛰어 속도를 높여줍니다. Strata의 QUANTS.md에 따르면, 이 기능이 RAM-budget 모드에서 Unsloth 4-bit 파일의 KL 값을 Q8_0 대비 두 배로 증가시켰습니다 (0.053에서 0.115로). 만약 품질을 위해 4-bit 양자화(quant)를 사용했다면, 기본 설정이 그 이점을 많이 상쇄합니다.

제가 UD-IQ4_XS를 사용하여 A/B 테스트를 진행한 결과 (262K 컨텍스트, 다른 설정 동일):

• Skip 7 (기본값): 36K에서 93 t/s 디코드, 136K에서 93 t/s
• Skip 0: 36K에서 72 t/s, 136K에서 81 t/s
• 프롬프트 속도는 동일했습니다: 36K에서 약 2,000 t/s, 136K에서 약 2,900 t/s

저는 품질을 선택했습니다.

실행 설정에 다음 내용을 추가하는 것이 좋습니다:
"env": {"STRATA_ROUTE_TAIL_SKIP": "0"}

또한 실행해 볼 만한 다른 도구는 Strata의 보정기(calibrator) (tools/calibrate.py <사용자 설정>, 약 30분 소요)입니다. 제 환경에서는 --spec-min-p 값을 0.5에서 0.7로 변경하여 약 +4% 향상을 얻었고, --pcie-frac 0.20이 확인되었습니다. 0.55 이상으로 설정할 경우 성능 저하가 20~40% 발생했습니다.

두 기능 모두 Strata 개발자에게 공을 돌립니다. 수정 사항과 측정 결과는 상위 레벨(upstream)에 반영되어 있습니다. 제가 이 문제를 알게 된 것은 기존 설정에 샘플링 블록이 없었기 때문입니다.

오늘 밤: 같은 4090에서 dense Qwen3.8 27B와 함께 Strata에 UD-IQ4_XS를 NInfer로 테스트하며 실제 코딩 작업을 진행했습니다.
제출자: /u/Distinct-Pie2389
[링크] [댓글]