Qwen3.6 35B용 'Heretic' KLD 0.0015 모델, 24GB VRAM에서 압도적 성능
요약
Qwen3.6 35B 모델을 위한 최적의 비검열 (uncensored) 버전인 'Heretic'이 등장했습니다. KLD 0.0015라는 극도로 낮은 값으로 원래 모델과 유사한 성격을 유지하면서도, IQ4XS 양자화 및 Q8 KVcache 설정 시 24GB VRAM에서 다중 턴 도구 호출 실패 없이 구동됩니다. 벤치마크 데이터와 저자의 경험상 원본보다 지능이 높을 가능성이 크며, 유해 프롬프트가 아닌 경우에도 안정적인 성능을 보입니다.
핵심 포인트
- Qwen3.6 35B용 'Heretic' 모델은 KLD 0.0015라는 극도로 낮은 값으로 원본 모델의 성격을 유지하면서도 비검열 환경에서 뛰어난 성능을 발휘합니다.
- IQ4XS 양자화와 Q8 KVcache 설정 시 262K 컨텍스트를 지원하며, 24GB VRAM에서도 다중 턴 도구 호출 (multi turn tool calls) 에 실패하지 않습니다.
- llmfan의 3.5 버전 모델이 UGI NatInt 섹션에서 원본보다 높은 벤치마크를 기록했듯, 이 3.6 버전도 원본 Qwen3.6을 능가할 것으로 예상됩니다.
AI 자동 생성 콘텐츠
본 콘텐츠는 Reddit AI Engineering의 원문을 AI가 자동으로 요약·번역·분석한 것입니다. 원 저작권은 원저작자에게 있으며, 정확한 내용은 반드시 원문을 확인해 주세요.
원문 바로가기