Nex-N2-Mini-Ultra-Uncensored-Heretic 출시: 에이전트적 사고를 갖춘 언센서드 (Uncensored) 모델, 거부율
요약
에이전트적 사고 능력을 갖춘 Nex-N2-Mini-Ultra-Uncensored-Heretic 모델이 출시되었습니다. Abliteration 기술을 적용하여 모델의 거부율을 낮추는 데 성공했습니다.
핵심 포인트
- 에이전트적 사고를 갖춘 언센서드(Uncensored) 모델 출시
- Abliteration 과정을 통해 모델의 거부율을 효과적으로 감소시킴
- Heretic 1.2.0 버전을 사용하여 최적의 KLD 및 거부율 결과 도출
- HuggingFace를 통해 Safetensors 및 GGUF 형식으로 제공
Safetensors: https://huggingface.co/llmfan46/Nex-N2-mini-ultra-uncensored-heretic
GGUFs: https://huggingface.co/llmfan46/Nex-N2-mini-ultra-uncensored-heretic-GGUF
저의 모든 모델은 여기서 확인하세요: HuggingFace-LLMFan46
제 작업물이 마음에 들고 모델이 유용하다고 생각하신다면, Ko-fi를 통해 저를 후원해 주시면 정말 감사하겠습니다: https://ko-fi.com/llmfan46
Q&A:
Q: "MTPs는 어떻게 되었나요!?"
A: 이 모델에는 MTPs가 없습니다. 증거는 여기에서 확인하세요: https://huggingface.co/nex-agi/Nex-N2-mini/discussions/1#6a22448c73040e75307d717b
Q: "다음 Nex-N2-Pro를 제작할 수 있나요?"
A: 이 모델은 397B 파라미터(35B 파라미터 "뿐인" Nex-N2-Mini와는 다름)입니다. 즉, 4개에서 5개 사이의 B300을 대여해야 한다는 의미이며, 누군가 대여 비용과 제 수수료를 지불하지 않는 한 그렇게 할 계획은 없습니다.
Q: "왜 Heretic 1.4.0이 아닌 1.2.0을 사용했나요!?"
A: 이 모델을 에블리터레이트 (Abliterate) 하려는 과정에서 흥미로운 점들을 발견했습니다. 꽤 많은 테스트와 재실행을 거친 결과, 어떤 이유에서인지 Heretic의 최신 버전은 이 모델에서 훨씬 더 높은 KLD를 보고했습니다. 그뿐만 아니라, 훨씬 높은 KLD에도 불구하고 수백 번의 시도 후에도 모델의 거부율이 ~60/100 아래로 떨어지지 않았던 반면, Heretic 1.2.0은 이러한 문제가 없었습니다.
submitted by /u/LLMFan46
[link] [comments]
AI 자동 생성 콘텐츠
본 콘텐츠는 r/LocalLLaMA의 원문을 AI가 자동으로 요약·번역·분석한 것입니다. 원 저작권은 원저작자에게 있으며, 정확한 내용은 반드시 원문을 확인해 주세요.
원문 바로가기