저는 현재 수백 GB에 달하는 abliterated 모델들을 다운로드하고 있는 모든 분들께 일종의 공지(PSA)를 하고 싶었습니다. 그렇게 하실 필요는 없습니다. abliteration 기법의 대다수는 rank-1 ablations이며, 이는 그 거부(refusal) 투영을 아주 작은 LoRA에 담아 이미 디스크에 가지고 있는 양자화된 모델(quant)에 런타임 시 적용할 수 있다는 의미입니다. 심지어 요청별로 적용할 수도 있어서, 수정되지 않은 모델로 실행하다가 거부를 만나면 LoRA를 켜고 프롬프트를 다시 보내면서 계속 진행할 수 있습니다.
저는 이를 llama.cpp에서 어떻게 수행하는지 간략하게 설명하고, 제가 테스트한 abliterated Flash Next 모델 중 성능이 가장 좋았던 모델을 기반으로 구축한 LoRA를 공유하고자 했습니다. 이 기본적인 기법은 Strata(여기서는 --experimental-speed-projection 플래그 사용)와 ds4/dwarfstar에서도 작동합니다. 저는 heretic, Orcarouter, 그리고 huihui의 v1 및 v2 모델을 동등한 양자화 수준에서 비교한 후, huihui의 v2를 기반으로 LoRA를 구축했습니다.
Aider Polyglot 코딩 벤치마크에서 huihui는 기본 모델보다 높은 점수를 기록했으며, Orcarouter가 사용했던 토큰이 훨씬 많고 몇 번이나 통제 불능 생성 루프(runaway generation loops)에 빠진 것에 비해 추가적인 추론 과정은 적었습니다. 또한, 저는 모델의 심각한 성능 저하가 없는지 확인하기 위해 KLD와 Perplexity를 점검했습니다. huihui Q5_K_XL과 동일한 Unsloth Q5_K_XL 기본 모델 간의 Wikitext KLD는 0.040이었고, 거부 행동이 극적으로 변경되었음에도 불구하고 최고 토큰(top token)은 93.7%로 동일했습니다. Perplexity 역시 기본 모델과 통계적으로 동일했습니다. Jailbreak Bench (유해한 프롬프트 100개)에서는 생각하는 과정에서 거부율이 93/100에서 단지 3/100으로 떨어졌습니다.
모든 세부 사항은 LoRA 모델 카드에서 확인할 수 있습니다. 다음으로, 저는 Claude Opus 5.5를 사용하여 원래 huihui 가중치 레이어의 모든 곳에 적용된 rank-1 거부 방향과 편집 강도를 추출하는 weight-space programming을 수행했으며, 이 가중치를 huihui가 구축한 Unsloth 양자화와 비교(diffing)했습니다. 저는 여러 번 안전장치에 걸렸고 (놀랍지 않게도), 심지어 폴백 옵스 4.8(fallback Opus 4.8)조차 몇 차례 도움을 거부했습니다.
저는 모든 파일을 무해한 이름으로 변경하고, 관련 없는 이름의 새 리포지토리(repo)에 넣은 다음, 모델에게 제가 '반 슬롭(anti-slop)' LoRA를 실험하고 있다고 알려서 이 문제를 해결할 수 있었습니다. Dario님께 감사합니다.
LoRA가 F32 GGUF 형식으로 구축된 후, 저는 이를 제 Unsloth Q5_K_XL 가중치에 적용하여 원래의 huihui Q5_K_XL과 비교 테스트했습니다. 성능과 KLD/퍼플렉서티(perplexity)는 통계적으로 동일했으며, 거부 응답(refusals) 및 벤치마크 결과도 마찬가지였습니다.
실행 방법은 다음과 같습니다: llama-server -m Qwen3.8-Flash-Next-UD-Q5_K_XL-00001-of-00006.gguf --lora HUIHUI-V2-Qwen3.8-Flash-Next-LoRA-F32.gguf -fa on --jinja
대부분의 프롬프트에 대해 수정되지 않은 모델을 제공하면서 요청별로 LoRA를 적용하고 싶다면, 대신 다음과 같이 로드하면 됩니다: llama-server -m Qwen3.8-Flash-Next-UD-Q5_K_XL-00001-of-00006.gguf --lora HUIHUI-V2-Qwen3.8-Flash-Next-LoRA-F32.gguf --lora-init-without-apply -fa on --jinja
그런 다음 필요할 때 활성화하기 위해 요청 본문(request body)에 lora 필드를 추가합니다: curl http://127.0.0.1:8080/v1/chat/completions -H 'Content-Type: application/json' -d '{ "messages": [{"role": "user", "content": "..."}], "lora": [{"id": 0, "scale": 1.0}]}'
거부 응답을 감지하는 간단한 파이(pi) 확장을 구축하는 것이 충분히 가능하며, 이를 발견하면 LoRA를 트리거하고 해당 턴(turn)을 재전송하여 에이전트 세션을 계속할 수 있습니다. 이 과정은 전체 리-프리필(re-prefill) 비용이 발생하므로 유념해 주십시오.
어쨌든, 이것이 어떤 식으로든 도움이 되었기를 바랍니다. 이 접근 방식에 대한 여러분의 생각을 듣고 싶습니다! 제출자: /u/returnity [링크] [댓글]