Qwen Flash Next의 양자화(quant) 및 온도(temp) 비교 - 성능 대 작업 시간 대 품질

최근 더 높은 양자화(quants)와 낮은 양자화, 그리고 일반적으로 권장되는 샘플링 매개변수(즉, temp)가 성능에 미치는 영향에 도전하는 흥미로운 게시물을 읽은 후, 저는 너무 시간이 남아돌았다는 생각이 들어 12가지 테스트 작업을 실행했습니다. 제 하드웨어에서 작동하는 세 가지 모델을 사용했습니다: - q3_xxs - q3_s - q4_xs 각 모델에 대해 두 가지 온도(temperature)로 작업을 테스트했습니다: - 권장 샘플링 매개변수: temp 1, top_k 20, top_p 0.95, min_p 0, presence_penalty 0.0, repetition_penalty 1.0 - strata json과 pi models json 모두에서 temp를 0으로 설정하고 다른 샘플링 매개변수는 제거했습니다. 위의 각 모델/온도 조합에 대해 3회씩 실행했습니다. 작업: 게임플레이, 설정 및 시각 효과에 대한 정의된 일련의 요구 사항을 가진 인-브라우저 테트리스 게임. 품질 평가: 제공된 기능 대 요구 사항. 결과는 사진에 있습니다. 제 수공예적인 Excel 데이터 시각화 기술은 양해 바랍니다. 결론: 모든 양자화 모델이 괜찮았습니다(OK-ish); 완벽한 결과는 하나도 없었지만 모두 허용 가능한 수준이었습니다. 낮은 양자화 모델들은 자신을 믿지 못하고 높은 양자화 모델보다 훨씬 더 많은 토큰을 생성합니다. 이는 사고 과정과 추가적인 도구 호출, 테스트, '실제'와 같은 것들에서 비롯됩니다. 작업당 총 디코드(decode) 토큰 수는 양자화 단계가 올라갈 때마다 꾸준히 감소합니다. 낮은 양자화 모델에서 높은 TPS로 디코딩하는 것이 더 큰 총 디코드량과 작업 시간(반복 테스트, playwright 등을 포함)을 보상하지 못합니다. temp 0으로 설정한 작업 실행은 작업 크기/시간의 분산이 더 낮은 것으로 보입니다; 표본 크기는 작지만, 수행해야 하는 작업에 일관적이라고 생각합니다. temp 0은 미미한 작업 시간 감소와 더 나은 일관성을 제공할 수 있으며 (설령) 품질에는 영향을 주지 않을 수도 있지만, 결론을 도출하기에는 표본이 너무 적습니다. 저는 temp 0이 더 복잡한 작업에서 성능 저하를 시작할 것이라고 예상합니다. 일화적으로 볼 때, 높은 양자화를 사용해도 품질 향상은 없었고, 낮은 양자화 모델보다 테스트를 덜 수행했음에도 불구하고 품질 하락도 없었습니다. 따라서 성능에 대한 결론은 다음과 같습니다: 하드웨어로 감당할 수 있는 가장 높은 양자화를 실행하고, 디코드 속도는 무시하며, 작업 시간에 집중하는 것이 좋습니다.

저는 현재로서는 Q3s를 사용할 생각입니다. 이 방식이 제 하드웨어(Windows)에서 SSD 캐싱 없이 실행할 수 있는 가장 높은 양자화(quant) 수준이기 때문입니다. 만약 헤드리스 Linux 추론 박스(headless Linux inference box)로 구동한다면 상황이 다를 수도 있습니다. 저는 여전히 온도(temperature)에 끌리고 있으며, 처음에 링크된 게시물에서 얻은 발견들을 검증하거나 반증하지 못했습니다. 온도 자체에 초점을 맞춘 좀 더 결정론적/기술적인 테스트를 진행할 것 같습니다. 제출자: /u/Dreeew84 [링크] [댓글]