Abliteration은 파인튜닝(fine-tuning)이 필요 없는 가중치 편집 기법으로, open-weight 대규모 언어 모델(LLMs)에서 거부를 제거합니다. 최적화 기반 변형인 Arbitrary-Rank Ablation (ARA)의 개발자는 거부 방향을 ablating하는 방향 기반 abliteration이 신규 모델에서 점점 더 실패하고 있다는 점을 보고했습니다. 다섯 쌍의 출시 페어에 걸쳐, 거부 제거가 균일하게 어려워지지는 않았습니다. Qwen2.5-32B와 Qwen3.8-27B, Gemma-2-27B와 Gemma-4-31B, OLMo-2-32B와 Olmo-3.1-32B, Mistral-Small-2409와 Mistral-Small-3.2, 그리고 Qwen2.5-7B와 Qwen3.5-4B가 Heretic 2.0에서 세 가지 또는 네 가지 방향 기반 방법(difference-in-means, MPOA, SOM 및 작은 페어의 경우 J-space)과 동일한 프롬프트, 명목 검색 예산(nominal search budget), 첫 토큰 KL divergence 제한치, 선택 규칙 하에 ARA로 편집되었습니다. 제거가 더 어려워졌다고 간주되는 경우는 자동 WildGuard 심사관이 여전히 거부하는 972개의 보류된 유해 프롬프트(JailbreakBench, XSTest, StrongREJECT, HarmBench 및 저자가 컴파일한 악성 코드 은행)를 더 많이 발견했을 때였습니다. 방향 기반 제거 후, 신규 출시 모델들은 -1%에서 +37%까지의 거부율을 유지했으며, ARA 적용 후에는 -26%에서 +34%까지의 변화를 보였습니다. 실행(run-to-run) 분산이 포함되었을 때, 방향 기반 효과의 쌍 간 이질성(between-pair heterogeneity)은 스케일 및 분산 모델에 따라 높음에서 낮음(I^2 20-80%)으로 다양했습니다. ARA는 Gemma와 OLMo에서 방향 기반 방법보다 적게 효과를 잃었고 Qwen에서 더 많이 효과를 잃었습니다. 각 판정은 하나의 ARA 실행을 기반으로 하며, 분산 예산이나 분산 모델에 따라 일부가 변경되었습니다. Gemma의 경우, 방향 기반 증가는 악성 코드 은행에서 발생했으며 공개 세트에서는 역전되었습니다. 예측과 달리, 도구 창에서의 키워드 개수는 평균적으로 심사된 거부를 과소평가하지 않았지만, 모델별로 평균 7포인트 차이를 보였습니다. 단일 페어, 방법 또는 프롬프트 출처에 대한 감사는 상반된 결론에 도달할 수 있습니다. 신규 모델이 제거에 저항하는지 여부는 생성 자체보다는 출시 페어, 방법 및 예산에 달려 있었습니다.