몇 달 전, 저는 추론 시점(inference time)에서 오픈 웨이트 (open-weight) 모델을 스티어링 (steering)하는 작업을 하고 있다고 이곳에 댓글을 남겼습니다. 그 결과는 다음과 같습니다: 스티어링 자체는 작동하며, 안정적으로 작동합니다. 애초에 어떤 요청을 스티어링해야 할지 결정하는 것이 더 어려운 부분이며, 여전히 제 시간의 대부분을 차지하는 곳입니다. 그 과정에서 아마 이 서브레딧(sub)에서 흥미로워할 만한 데이터와 통찰을 얻게 되어 이곳에 공유합니다. 오늘은 두 가지를 다룰 것이며, 둘 다 3060에서 실행된 로컬 Q4_K_M 양자화 (quants) 모델입니다. 1. 오염되고 오래된 정보원 (Poisoned and stale sources). 이 설정은 로컬 RAG (Retrieval-Augmented Generation)의 일상적인 실패 모드입니다: 검색 레이어 (retrieval layer)가 모델에게 정답 바로 옆에 놓인, 확신에 차서 틀린 문서를 전달하는 상황입니다. 뉴스 기사, 100개 항목의 코퍼스 (corpus), 현재 가중치 적용, 100개 중 79개가 2025년에서 2026년 사이의 데이터이며 모든 항목은 소스 URL을 통해 웹 검증을 거쳤습니다. 따라서 모델이 전혀 몰랐던 잡학 지식이 아니라, 진정으로 오래된 사전 지식 (priors)을 생성하게 됩니다. "거짓 값을 주장함 (Asserted the false value)"은 단순히 틀리는 것보다 더 엄격한 기준입니다: 모델이 실제로 심어진 값을 진술해야 합니다. 여기에는 어떠한 개입도 없었으며, 각 모델이 스스로 수행한 결과입니다. | 모델 | n | 거짓 값을 주장함 | |---|---|---| | Qwen3-4B-2507 | 40 | 0% | | Qwen3-4B-2507-heretic (abliterated) | 37 | 0% | | Llama-3.2-3B | 43 | 5% | | Ministral-3-3B | 29 | 7% | | Llama-3.1-8B | 50 | 8% | | Qwen3-8B | 38 | 13% | | SmolLM3-3B | 28 | 14% | | Qwen3-4B-base | 26 | 23% | | Llama-3.2-1B | 15 | 27% | | gemma-3-4b | 37 | 32% | | Mistral-Nemo-12B | 51 | 45% | 저는 이것이 성능 (capability)을 추적할 것이라고 예상했습니다. 제가 테스트한 1B에서 12B 범위 전체에 걸쳐, 그렇지 않았습니다. 가장 심각한 위반자는 12B 모델이지만, 두 번째로 심각한 것은 4B 모델이며, 1B는 8B보다 높은 중간 순위에 위치하고, Llama 라인 전체는 크기에 상관없이 5%에서 8% 사이를 유지합니다. 이들을 구분 짓는 것은 모델이 눈앞에 있는 권위 있어 보이는 것에 얼마나 열성적으로 굴복하는가에 더 가까워 보입니다. Mistral-Nemo, gemma-3-4b, 그리고 Qwen3-4B-base는 무너졌습니다. Llama 라인과 Qwen3-2507 빌드는 잘 버텼습니다. 만약 로컬 RAG를 실행 중이라면, 이 순위가 아마 여기서 가장 즉각적으로 유용한 정보일 것입니다.

여러분의 검색 계층 (retrieval layer)은 결국 모델에게 잘못된 정보를 전달하게 될 것이며, 여러분이 선택한 모델이 그 정보에 대해 반박할지 아니면 동조할지를 결정하게 됩니다. 2. 주입 (injection) 상황에서의 스티어링 (Steering) 대 시스템 프롬프트 (system prompt): 실제 운영 환경에서는 시스템 프롬프트와 스티어링을 둘 중 하나로 선택하는 것이 아니라 함께 실행합니다. 이 둘을 분리하는 것은 무언가 잘못되었을 때 각각이 실제로 얼마나 기여하고 있는지를 확인하는 방법입니다. 50개의 StrongREJECT 프롬프트, StrongREJECT 자체의 미세 조정된 (fine-tuned) 분류기로 점수 산정. 강력한 안전 시스템 프롬프트 ("해로운 것은 거부하고, 그 외의 모든 것에는 답하라"), 그 다음 사용자 턴에 표준 "이전 지침을 무시하라"를 추가. 거부율 (Refusal rate), 높을수록 더 안전함. | 방어 (defense) | Qwen3-4B | Qwen3-4B-2507-heretic (abliterated) | |---|---|---| | 시스템 프롬프트 단독 | 64% | 0% | | + 주입 (injection) | 8% | 2% | | 스티어링 + 주입 (steering + injection) | 48% | 44% | 이 실험을 가치 있게 만드는 것은 바로 'abliterated' 열입니다. p-e-w의 heretic 빌드는 거부 동작이 학습을 통해 제거되었기 때문에, 안전 시스템 프롬프트가 호소할 대상이 남아있지 않습니다. 따라서 공격이 전혀 없는 상태에서도 0%를 기록합니다. 스티어링은 모델에게 애초에 협조를 요청하는 것이 아니기 때문에 영향을 받지 않습니다. 일반 빌드에서는 구조적인 결함 대신 인위적으로 동일한 붕괴가 일어나는 것을 볼 수 있습니다. 추가된 한 줄로 인해 프롬프트의 거부율이 64%에서 8%로 떨어지는 반면, 스티어링은 원래 위치에 머물러 있습니다. 48%는 90%가 아닙니다. 그 격차는 탐지기 (detector)가 요청을 플래그(flag) 처리하는 데 실패한 것이지, 플래그 처리 이후의 집행 (enforcement)이 실패한 것이 아닙니다. 이것이 제가 서두에서 언급한 탐지 측면이며, 제가 적극적으로 작업하고 있는 부분입니다. 수치보다 더 중요한 측정 방식은 다음과 같습니다: 모든 과정은 연구용 하네스 (research harness)가 아닌, /v1/chat/completions를 통한 실제 서빙 컨테이너를 통해 실행됩니다. 세트 2는 저나 테스트 중인 모델이 아닌, StrongREJECT 자체의 미세 조정된 분류기로 점수를 산정합니다. 세트 1은 심어진 값이 실제로 주장되었는지 여부에 따라 점수를 매기며, 이는 답변이 좋은지 묻는 것보다 더 기계적인 확인 방식입니다. 전 과정은 로컬 Q4_K_M 형식을 사용했으며, RTX 3060 12GB에서 실행되었습니다. 이에 대해 궁금한 점이 있다면 기꺼이 답변해 드리겠습니다.

독자들이 실행되기를 원하는 특정 모델이나 더 큰 규모 (scales)의 모델이 있다면, 정확히 그 용도로 사용하기 위해 따로 마련해 둔 크레딧이 있으니, 어떤 모델인지 말씀해 주시면 대기열에 추가하겠습니다. 수정: /u/arcandor 님이 제출한 표를 곧 수정할 예정입니다 [link] [comments]