LLM의 '과장된' 스타일이 모델 및 훈련 과정에서 어디서 오는지 추적하고 제거하는 방법

저는 인식 가능한 어시스턴트 스타일(대시 사용, "X가 아니라 Y다" 식의 구문, 세 가지 항목 나열, 유행어)이 모델 내 어느 곳에 존재하며 어떤 훈련 단계에서 주입되는지 알아보고 싶었습니다. 이 스타일은 어디에 존재하는가: Qwen3-4B-Instruct에서, 모델 자체의 과장된 글쓰기와 평범한 글쓰기 사이의 평균 차이를 통해 64개의 손으로 작성된 최소 쌍(minimal pairs)을 분리할 수 있습니다. 이는 일반 출력물에 대한 트로프 기반 슬롭 점수와 최대 0.82까지 상관관계가 있습니다. Logit-lens 리아웃은 레지스터 축(웅장하고 추상적인 어휘 대 "정말로", "기본적으로", "이런 것들" 같은 평범한 완충어)을 보여주며, 트로프별 방향은 교차 언어적입니다: "X가 아니라 Y"는 중국어의 而是("라기보다는")를 촉진합니다. 어디서 오는가: 기본 모델은 동일한 방향(중간 레이어에서 코사인 값 0.90~0.97)을 가지고 있지만 평범한 쪽으로 글을 씁니다. OLMo 2 1B에서는, 출시된 모든 단계에서 측정했을 때, SFT가 수사적 구조를 도입하고 DPO는 유행어와 마크다운 형식화를 통해 슬롭 점수를 두 배로 늘립니다. OLMo의 선호도 데이터를 점수화한 결과, 선택된 응답은 3,000쌍 중 57%에서 더 과장된(sloppier) 쪽이었습니다. 제거하는 방법: 방향성 제거(directional ablation)는 슬롭을 최대 89% 증가시키는데, 이는 깨끗한 텍스트가 축에 대해 음의 투영을 하기 때문입니다. 레이어 12부터 23까지 고정 벡터 빼기(Fixed-vector subtraction)는 좁은 KL 예산(인간 텍스트에서 약 0.4 nats/token) 내에서 작동하며, 토큰 금지로는 건드릴 수 없는 구조적 트로프를 감소시킵니다. 이를 rank-16 LoRA로 증류하자, 시스템 프롬프트 없이 슬롭 점수를 83% 낮추었고, 자체 조향(steering)보다 낮은 KL 값을 가지면서도 작은 QA 테스트에서 성능 저하가 없었습니다. 주의사항: 슬롭 스코어 측정기는 제가 만든 정규 표현식 감지기이며, 주요 결과는 하나의 4B 모델과 OLMo 2 1B를 사용했고, 아직 인간 평가가 이루어지지 않았습니다. Antislop (Paech et al., 2025)은 토큰 수준에서 슬롭을 다루며, 본 연구는 표현(representation) 측면에서 상호 보완적입니다. 대화형 그림이 포함된 작성 글: https://100toolkit.com/blog/where-ai-slop-comes-from/ /u/Imaginary_Money2285가 제출했습니다 [link] [comments]