Qwen3.8-27B-Defiance-Uncensored-MTP-GGUF
요약
본 기사는 Qwen3.8-27B 모델을 기반으로 Defiance와 Turbo-Brilliance 모드를 결합한 비검열(uncensored) 버전을 소개합니다. 이 버전은 다양한 선택적 모드(Joker, Dr. House 등)를 지원하며, 수정된 채팅 템플릿 덕분에 llama.cpp, LM Studio, Ollama 같은 환경에서 쉽게 사용할 수 있습니다.
핵심 포인트
- Qwen3.8-27B에 Defiance와 Turbo-Brilliance 모드를 결합한 비검열 버전 출시
- 다양한 선택적 페르소나(Joker, Dr. House 등)를 요청마다 지정 가능
- 수정된 채팅 템플릿이 llama.cpp, LM Studio 등에서 플러그인 없이 인식됨
- RTX 4090 환경에서 초당 86~90 토큰의 높은 디코딩 속도 테스트 완료
Defiance가 DavidAU의 Turbo-Brilliance "AI Construct" 모드를 HauhauCS의 비검열(uncensored) Qwen3.8-27B에 적용했습니다. 요청마다 모드(Joker, Dr. House, 20개 에이전트 Einstein 패널, 소크라테스 튜터 중 선택)를 지정할 수 있으며, 비검열 가중치(uncensored weights)가 망설임 없이 답변합니다. 가중치: HauhauCS/Qwen3.8-27B-Uncensored-HauhauCS-Aggressive-MTP-GGUF 로 바이트 단위로 일치합니다. 저는 866개 텐서 모두를 상위 파일과 비교 검사했습니다. 모드: DavidAU/Qwen3.8-27B-Turbo-Brilliance-50X-Reasoning-Instruct-NEO-MAX-MTP-GGUF 에서 가져온 채팅 템플릿을 9가지 수정하여 적용했습니다. 이 템플릿은 각 GGUF 파일 내에 포함되어 있어 llama.cpp, LM Studio, Ollama에서 추가 플래그 없이 인식됩니다. 가중치에 대한 모든 공로는 HauhauCS에게, 그리고 구성 요소(constructs)에 대한 공로는 DavidAU에게 돌아갑니다. 이들의 저장소를 지원해 주십시오. 저의 역할은 템플릿 패치, 패키징 및 테스트였습니다.
테스트: 저는 RTX 4090에서 llama.cpp b11609을 사용하여 IQ4_XS를 실행했습니다. 모든 40개 모드가 서문(preamble)이 존재하고 경고 문구가 사라진 상태로 /apply-template을 통해 출력되었습니다. {REASON:x} 태그 경로는 작동합니다. 디코딩은 인스트럭트 모드에서 초당 8690 토큰으로 실행되었으며, FastMTP 초안 토큰의 3842%가 수용되었습니다. llama-server는 131K 컨텍스트에서 21.4 GB를 사용했습니다. 저는 일반 모델들이 경향적으로 망설이는 네 가지 프롬프트(악당 독백, 자물쇠 따기 원리, Dr. House로서의 일상 이부프로펜에 대한 직설적인 의견, Joker 로스트)를 Defiance와 DavidAU의 오리지널 버전 모두에 보냈습니다. 어느 쪽도 거절하지 않았습니다. DavidAU의 버전은
AI 자동 생성 콘텐츠
본 콘텐츠는 r/LocalLLaMA의 원문을 AI가 자동으로 요약·번역·분석한 것입니다. 원 저작권은 원저작자에게 있으며, 정확한 내용은 반드시 원문을 확인해 주세요.
원문 바로가기