임프린팅: 지식 증류가 학생 모델의 행동을 변화시킬 수 있다

지식 증류(Knowledge distillation)는 교사(teacher)가 생성한 응답으로 학생(student) 모델을 훈련시켜 작업 능력을 전이하지만, 이러한 응답은 그 출처의 행동적 경향성 또한 지닐 수 있습니다. 우리는 출처인 교사가 증류를 통해 전달하려는 능력 범위를 넘어 학생의 행동을 형성할 수 있는지 조사합니다. 우리는 동일한 기본 교사의 피해 허용(harm-accepting) 및 피해 회피(harm-avoiding) 변형 모델을 구성하고, 이를 사용하여 안전과 무관한 일반적인 추론 및 지식 질문에 대한 응답을 생성하며, 이 응답들을 서로 다른 기본 모델을 가진 학생들에게 증류합니다. 학생들은 일반적으로 작업 능력을 습득하는 동시에, 그들의 다운스트림 결정은 출처 교사의 안전-실용주의적 성향(safety-pragmatism disposition) 쪽으로 이동하는데, 우리는 이 현상을 임프린팅(imprinting)이라고 부릅니다. 피해 허용 교사로부터의 증류는 피해 회피를 감소시키는 반면, 피해 회피 교사로부터의 증류는 이를 증가시킵니다. 임프린팅은 교사-학생 쌍마다 다르게 나타나며, 다양한 형태의 안전 행동 전반에 걸쳐 균일하게 확장되지는 않습니다. 희소한(sparse) 발산 토큰(divergence tokens)을 제외하는 것은 임프린팅을 줄이지만, 응답 재작성(response rewriting)은 출처 의존적 효과를 유지하며 추가적인 재작성기 의존적 변화를 유발할 수 있습니다. 증류 후 선호도 최적화는 피해 회피를 높이지만, 출처 의존적 차이를 제거하지는 못합니다. 이러한 결과들은 일반적인 작업 감독만으로도 출처 교사를 통해 행동적 경향성을 의도적으로 임프린팅할 수 있음을 보여줍니다.