Qwen Flash Next의 잠재적 SOTA (최고 성능) 모델 Q2에 대한 논의

Strata 및 저비트 QFN 토론이 나올 때마다 모두가 Unsloth와 ISTA-lab에 대해 이야기하지만, Agantai의 GYRO 시리즈 양자화(quant)는 아무도 언급하지 않습니다. [IMG:N] https://huggingface.co/agentionai/Qwen3.8-Flash-Next-Gyro-GGUF 이 양자화 모델들은 ISTA의 모델들보다 KLD, top 1 성능이 동시에 더 좋고 크기도 작다고 주장됩니다. 또한 향상된 루프 저항성(loop resistance)도 광고되고 있습니다. 과감한 주장과 단일 기여자라는 점 때문에 처음에는 제가 직접 주장을 확인하는 것을 망설였습니다. 하지만 잠재적인 공간 절약 효과를 무시할 수 없어서 GYRO-M을 다운로드하여 잠시 동안 사용해 보았습니다. 저의 경험은 다음과 같습니다: 더 나아가기 전에, 제 설정을 공유하고 싶습니다: 추론 엔진(Inference engine): Strata Quant의 GYRO 포크 (GYRO fork of the Strata Quant) 사용된 양자화 모델(Quant): GYRO-M Vision: 예, ISTA lab의 IQ3_XXS 양자화 모델을 가져옴 Context: 200k KV 캐시 양자화(quantisation): k8v4 에이전트(Agent): Pi agent 샘플링(Samplings): temperature: 1.0, top_p: 0.95, top_k: 20, min_p: 0.05 사고 과정(Thinking): 항상 xhigh 루핑(Looping): 제가 3일 동안 테스트하는 동안 한 번도 반복되지 않았으며, 가장 긴 자율 사이클은 2~3시간이었습니다. 작성자의 주장이 맞는 것 같습니다. 도구 호출(Tool calls): 일반적으로 안정적이지만, 때때로 Cyryllic 텍스트(러시아어, 우크라이나어) 편집을 잘못 처리합니다.

주관적 인상 - ISTA q2 양자화 모델보다 더 안정적이며, 키릴 문자 문제 때문에 ISTA q3보다 덜 안정적임
문맥 유지 (Context retention) 브레인 데드(braindeadness) 현상이 기록된 흔적이 없으며, 초기 목표를 절대 잃지 않고 거의 항상 모든 미묘한 차이를 기억함. 지침 따르기(instruction following)가 안정적임.
성능 (Performance) ISTA 2 bit 양자화 모델만큼 빠름
예시 프롬프트: "펠리컨이 자전거를 타고 있는 애니메이션 복셀 3D 세계를 최대한 잘 만들어줘"
첫 번째 사진은 ISTA lab IQ3XXS, 두 번째는 ISTA lab IQ2XS, 세 번째는 GYRO-M입니다. https://preview.redd.it/slx0eci7osvh1.png?width=1911&format=png&auto=webp&s=6fd3042b5770850c00bcf4f9450401d418ae51e7 https://preview.redd.it/nwkbc5ahosvh1.png?width=1917&format=png&auto=webp&s=cb5965017ef49df6003427179769cd6cabde8964 https://preview.redd.it/o2lgfothosvh1.png?width=1916&format=png&auto=webp&s=880bab363dc169fc76de8b2ea79a899e361b0778
결론 이 양자화 모델은 100% 활력이 넘치며, 실제로 ISTA lab q3 수준에 도달했음을 보여주는 강력한 신호들이 있음에도 불구하고 훨씬 작습니다. 저자님의 놀라운 작업에 깊이 감사드립니다. 이 완벽한 결과는 한 사람의 노력으로 이루어졌기 때문에 그는 괴물입니다. 때로는 기술, 인내, 목적을 가진 개인의 노력이 전담 팀을 능가하고 승리할 수 있는 것 같습니다.
/u/PlasticRevenue4601 님이 제출함 [링크] [댓글]