Strata - Qwen 3.8 Flash Next - 디코딩 속도 향상 팁
요약
본 기사는 Qwen 3.8 Flash Next 모델의 디코딩 속도 향상 방법을 제시합니다. 특히 `--adapt-every` 값을 1에서 6으로 늘리는 조정(calibration)을 통해 여러 길이와 복잡도의 프롬프트 환경에서 상당한 성능 개선을 확인했습니다. 테스트 결과, 소스 코드 설명과 같은 긴 컨텍스트 처리 시 가장 큰 속도 향상(+55%)을 보였습니다.
핵심 포인트
- `--adapt-every` 값을 1에서 6으로 늘리는 것이 성능 향상의 핵심입니다.
- 긴 프롬프트(20K 토큰)를 포함한 복잡한 작업에서 특히 높은 개선율을 보였습니다.
- 테스트는 슬로바키아어 환경의 연속적인 다중 프롬프트 채팅 시나리오를 기반으로 했습니다.
저는 --adapt-every 값을 보정된(calibrated) 1에서 6으로 늘림으로써 좋은 성능 향상을 얻었습니다. 채팅 환경에서 슬로바키아어(Slovak language)로 연속적인 4개의 프롬프트에 대해 테스트했습니다. 프롬프트 1~3은 간단한 질문이고, 4번은 소스 코드 설명(20K 토큰)입니다.
결과:
[프롬프트 번호 / ~평균 출력 길이] UD-Q4_K_XL: [1 / 996] 30.3 -> 36.1 t/s ( +19% ) [2 / 473] 31.6 -> 35.4 t/s ( +12% ) [3 / 1245] 32.6 -> 40.1 t/s ( +23% ) [4 / 4148] 27.8 -> 43.1 t/s ( +55% )
UD-IQ4_XS: [1 / 947] 57.9 -> 63.1 t/s ( +9% ) [2 / 565] 51.9 -> 64.3 t/s ( +24% ) [3 / 1162] 57.6 -> 71.6 t/s ( +24% ) [4 / 4881] 56.0 -> 65.3 t/s ( +16% )
PC: Intel [email protected] , RTX 4070 ti super, 64GB DDR4, NVMe, Arch linux TTY submitted by /u/Bzucko [link] [comments]
AI 자동 생성 콘텐츠
본 콘텐츠는 Reddit AI Engineering의 원문을 AI가 자동으로 요약·번역·분석한 것입니다. 원 저작권은 원저작자에게 있으며, 정확한 내용은 반드시 원문을 확인해 주세요.
원문 바로가기