DeepSeek V4.1 Flash 1017 [GGUF + Abliterated]

안녕하세요, 여러분. 많은 분들이 이미 알고 계시겠지만 DeepSeek V4.1 Flash 1017이 어제 출시되었습니다. 저는 베이스 버전과 abliterated 버전에 대한 abliterated 모델과 GGUF 양자화(quant) 파일을 올렸습니다 (아직 imatrix는 작업 중입니다). abliterated 모델의 경우, 대부분의 거부 응답(refusals)이 성공적으로 제거되었습니다. 원래 V4.1 모델에서는 100개 프롬프트 중 97개가 거부되었지만, abliteration 후에는 100개 중 단 4개만 그렇습니다. '사고 모드(think mode)'에서의 거부율은 100개 중 98개에서 9개로 감소했습니다. 저는 모델을 온전하게 유지하는 데 초점을 맞추기보다 모든 마지막 거부 응답을 제거하려고 노력하기보다는 최적화했습니다. 여러 번의 반복 작업을 통해 이 모델이 가장 좋은 균형점이라고 생각합니다. 저는 이 모델이 일반적인 abliteration/다른 abliterated 모델들보다 약간 더 나은 성능을 보일 것이라고 믿습니다. V4.a 채팅 모드와 사고 모드는 서로 다른 방향으로 거부 응답을 하므로, 단일한 거부 방향을 ablating하기보다는 그들이 차지하는 rank-2 부분 공간(subspace)을 측정하고 제거했습니다. 물론 이것이 완벽하지는 않으므로, 문제가 발견되면 알려주세요! 모든 모델은 Hub에 있으며, 가중치를 다시 다운로드하고 싶지 않은 분들을 위해 GGUF용 LoRA도 출시했습니다. 어떤 피드백이라도 환영합니다 🤗 submitted by /u/mrfakename0 [link] [comments]