Qwen3.6 35B용 'Heretic' KLD 0.0015 모델, 24GB VRAM에서 압도적 성능
요약
Qwen3.6 35B 모델을 위한 최적의 비검열 (uncensored) 버전인 'Heretic'이 등장했습니다. KLD 0.0015라는 극도로 낮은 값으로 원래 모델과 유사한 성격을 유지하면서도, IQ4XS 양자화 및 Q8 KVcache 설정 시 24GB VRAM에서 다중 턴 도구 호출 실패 없이 구동됩니다. 벤치마크 데이터와 저자의 경험상 원본보다 지능이 높을 가능성이 크며, 유해 프롬프트가 아닌 경우에도 안정적인 성능을 보입니다.
핵심 포인트
- Qwen3.6 35B용 'Heretic' 모델은 KLD 0.0015라는 극도로 낮은 값으로 원본 모델의 성격을 유지하면서도 비검열 환경에서 뛰어난 성능을 발휘합니다.
- IQ4XS 양자화와 Q8 KVcache 설정 시 262K 컨텍스트를 지원하며, 24GB VRAM에서도 다중 턴 도구 호출 (multi turn tool calls) 에 실패하지 않습니다.
- llmfan의 3.5 버전 모델이 UGI NatInt 섹션에서 원본보다 높은 벤치마크를 기록했듯, 이 3.6 버전도 원본 Qwen3.6을 능가할 것으로 예상됩니다.
Qwen3.6 35B A3B Heretic (KLD 0.0015!) Incredible model.
이미 며칠간 사용해 왔습니다. Qwen 3.6 35B용 비검열 (uncensored) 모델 중 압도적으로 가장 좋은 것 같습니다. IQ4XS, Q8 KVcache, 262K 컨텍스트 설정 시 24GB의 VRAM에 들어맞으며 다중 턴 도구 호출에서도 실패하지 않습니다. 솔직히 말해 원본 모델보다 더 똑똑하다고 느낍니다 (말이 좀 광기어 보일지도 모르지만). 또한 이 모델은 KLD 값이 매우 낮아 이론상 유해한 프롬프트가 아닌 경우 원본 모델과 유사하게 작동해야 합니다.
llmfan의 3.5 버전 35B 모델이 실제로 UGI NatInt 섹션에서 원본보다 더 높은 벤치마크를 기록했기 때문에, 이 3.6 버전 35B도 원본 3.6 모델을 능설할 것이라 확신합니다.
여러분들도 한번 시도해 보시길 권장합니다.
AI 자동 생성 콘텐츠
본 콘텐츠는 Reddit AI Engineering의 원문을 AI가 자동으로 요약·번역·분석한 것입니다. 원 저작권은 원저작자에게 있으며, 정확한 내용은 반드시 원문을 확인해 주세요.
원문 바로가기