Insights
AI가 자동으로 큐레이션·번역·정리하는 기술 동향 피드입니다.
본 글은 AI 모델의 '글쓰기 습관'을 제거하는 새로운 접근 방식을 제시합니다. 연구자는 방향 조향(direction steering)과 뉴런 패치, 그리고 규칙 기반 검사 등 여러 기법을 조합하여 Qwen3-4B와 같은 소형 모델에서 생성되는 부자연스러운 패턴을 개선했습니다. 이를 통해 인간 수준의 자연스러움을 갖춘 답변 생성이 가능함을 보여줍니다.
AI 자동 생성 콘텐츠
본 콘텐츠는 HN AI Posts의 원문을 AI가 자동으로 요약·번역·분석한 것입니다. 원 저작권은 원저작자에게 있으며, 정확한 내용은 반드시 원문을 확인해 주세요.
원문 바로가기이것들은 시스템 프롬프트 없이, 네 가지 장르의 열 가지 주제에 대해 원본 모델과 공개된 모델 각각에서 샘플링된 하나의 답변입니다. 밑줄 친 부분은 슬롭(slop) 감지기가 계산한 내용입니다.
ollama run hf.co/erikkannike/qwen3-4b-deslop-v4-GGUF:Q4_K_M
2.5 GB 다운로드입니다. 제 홈 랩은 MacBook Air라서, 이것은 161개의 답변으로 학습된 4B 모델입니다. 이 레시피는 모델 크기에 의존하지 않으며, 더 큰 모델에서 실행하는 것이 다음 단계입니다.
이것들은 시스템 프롬프트 없이, 네 가지 장르의 열 가지 주제에 대해 원본 모델과 공개된 모델 각각에서 샘플링된 하나의 답변입니다. 밑줄 친 부분은 슬롭(slop) 감지기가 계산한 내용입니다.
점수는 AI 글쓰기 습관 스타일 가이드에서 제가 작성한 감지기에서 나옵니다: 대시(-),
이 모델에 대한 초기 실험에서 어시스턴트가 내부의 방향(direction)으로 등록되는 것을 발견했습니다. 이를 모델이 글을 쓰는 동안 빼주면서 일반적인 스타일의 시스템 프롬프트와 결합하면 점수가 약 15점까지 올라갔지만, 생성 과정 중에 프롬프트와 코드가 필요했고 일반 텍스트에 대한 모델 예측을 변화시켰습니다. 두 번째 실험에서는 뉴런들을 하나씩 읽어보았고, 부호 반전(sign flip)을 통해 거의 비용 없이 'X가 아니라 Y'라는 표현의 70%를 제거하는 네 개의 뉴런을 발견했습니다. 다만 이것은 그 습관에만 국한되었습니다.
이 두 가지를 모두 가중치(weights)로 얻기 위해 증류(distillation)를 사용했습니다. 지금까지 가장 잘 작동했던 것들로부터 구축된 교사 모델(teacher)이 288개의 학습 프롬프트에 답변을 했습니다. 저는 검사를 통과한 답변들을 보존했고, 작은 LoRA 어댑터가 순수한 프롬프트에서 이 답변들을 생성하도록 학습합니다. 첫 번째 라운드에서는 프롬프트와 후크 없이 점수를 약 20점까지 올렸습니다.
두 번째 라운드에서는 교사 모델이 첫 번째 라운드의 모델에 네 개의 뉴런 패치와 일반적인 스타일의 프롬프트를 더한 것이었습니다. 여기에 방향 조향(direction steering)을 추가하자 제가 측정했던 가장 낮은 점수인 9.5점을 기록했는데, 이는 대문자가 없는 주제에서 벗어난 텍스트에서 나왔기 때문에 방향 조향은 다시 제외했습니다. 교사 모델은 평균 7.4점을 기록했고, 학생 모델이 그 171개의 최고의 답변으로 학습하여 9.9점을 기록했으며, 답변의 80%가 인간 수준의 범위에 있었습니다.
답변 내용 중 한 회사의 새로운 CRM에 대한 의견 기사는 어느 쪽도 취하지 않은 채 사건 보고서처럼 읽혔습니다. 새 도시로 이사하는 것에 관한 블로그 게시물은 누수가 있는 아파트에 사는 가족에 대한 3인칭 이야기가 되었습니다. 실내 식물에 관한 글에서는 모델이 지어낸 'University of Technology Sydney의 연구'를 인용했습니다. 거의 모든 문장이 ', which'나 ', so'로 이어졌는데, 이는 원래 모델보다 28배 더 자주 발생한 것입니다. 마지막 습관은 제가 만든 교사 프롬프트에서 비롯된 것으로, 이 프롬프트가 모델에게 문장들을
답변이 프롬프트가 요구한 바를 수행했는지에 대한 규칙 기반 검사를 추가했습니다. 의견 기사는 초반에 입장을 밝혀야 하고, 개인적인 성찰은 1인칭 시점으로 작성해야 하며, 이메일은 인사말로 시작해야 하고, 길이는 요청과 대략적으로 일치해야 합니다. 또한 ' ', 'which'와 ' ', 'so' 연결 구문 및 조작된 연구 결과나 백분율에 대한 두 가지 검사도 추가했습니다. 이 항목들에서 2차 모델은 원래 모델의 78% 대비 단지 60%의 시간 동안 요청한 바를 수행했습니다.
세 번째 교사는 작업이 먼저 제시되는 프롬프트를 받았습니다: 요구받을 때 입장을 취하고, 개인적일 때는 1인칭으로 작성하며, 문장 구조를 다양화하고, 연구 결과나 이름을 조작하지 말라는 내용이었습니다. 이 교사는 프롬프트당 세 개의 답변을 작성했고, 점수가 12점 미만이고 손상 검사(damage checks)와 모든 작업 검사를 통과한 답변만 유지했습니다. 약 30%가 기준을 충족했으며, 이는 288개의 프롬프트 중 161개를 커버했습니다.
이러한 답변들로 학습된 모델이 배포된 버전입니다. 이 모델의 점수는 9.9점에서 12.5점으로 약간 상승했고, 작업 적합도(task fit)는 80%로 돌아갔으며, ' ', 'which' 연결 구문은 100단어당 1.4개에서 0.3개로 감소했습니다. 조작된 연구 결과와 백분율은 거의 사라졌습니다.
양자화된 빌드(Q4_K_M, 2.5 GB)는 Ollama 또는 llama.cpp를 사용하는 노트북에서 실행할 수 있습니다:
ollama run hf.co/erikkannike/qwen3-4b-deslop-v4-GGUF:Q4_K_M
llama-cli -hf erikkannike/qwen3-4b-deslop-v4-GGUF:Q4_K_M
전체 정밀도 가중치는 다른 Qwen3-4B 체크포인트와 마찬가지로 transformers 같은 라이브러리를 사용하여 로드할 수 있습니다:
from transformers import AutoModelForCausalLM, AutoTokenizer
name =
또한 여전히 지어내는 것도 많습니다: 연구나 백분율 같은 것은 이제 드물지만, 마리아라는 이름의 여성이 운영하는 메이플 스트리트의 커피숍처럼 꾸며낸 이름과 장소가 흔합니다. 이는 구체적인 디테일이 매 라운드마다 보상받았기 때문입니다. 또한 글도 길게 작성하며, '약 150단어'에 대한 답변이 종종 거의 200단어에 가깝습니다.
저는 이 장르들에서 짧은 영어 산문만 테스트했습니다. 코드, 긴 대화, 다른 언어 및 도구 사용의 경우 원래 모델보다 나을지 못할지, 혹은 더 안 좋을 수도 있습니다. 점수는 정규 표현식으로 작성된 저의 스타일 가이드이며, 아직 독자를 대상으로 한 블라인드 테스트를 거치지는 않았습니다. 또한 숫자는 실행마다 달라집니다: 동일한 모델이 어댑터를 통해 10.2점을 받고, 병합된 가중치를 통해서는 12.5점을 받는 등 샘플링 차이만으로도 다릅니다.
각 학생은 결국 선생님이 쓸 수 있는 최고의 답변만큼의 수준에 도달했으므로, 더 나은 모델을 위해서는 더 나은 선생님이 필요합니다. 저는 기본 모델(base model)에 사용할 훌륭한 인간 작가의 글, 퍼블릭 도메인 에세이와 편지들, 그리고 현대적인 작품들을 모으고 있습니다. 기본 모델은 어시스턴트 트레이닝(assistant training)을 거치지 않았음에도 불구하고 배운 사람들처럼 글을 쓰는 것입니다. 만약 그 선생님의 글이 이 모델보다 더 훌륭하다면, 같은 방법론으로도 어느 정도 취향과 깔끔한 습관을 가진 학생을 만들 수 있을 것입니다. 그다음에는 7~8B 모델과 약 30B 모델에 동일한 파이프라인을 적용하고, 사람들이 어떤 글이 더 좋은지 고르는 블라인드 테스트를 진행할 예정입니다.