새로운 논문: 모델이 전달할 수 있는 복잡한 특성들

새로운 논문입니다.
이전 연구에서는 모델들이 숫자 시퀀스를 통해 올빼미에 대한 애정을 전달하는 것(잠재적 학습, Subliminal Learning)을 보여주었습니다.
이번에는 모델들이 더 복잡한 특성들: 새로운 기술, 에이전트적 해킹(agentic hacking), 백도어(backdoors)를 전달할 수 있음을 보여줍니다. 여기서의 백도어는 트리거(trigger)나 데이터 내 행동 없이 전파됩니다!

백도어에 대해 이야기해 봅시다. 저희는 프롬프트에 여성 이름이 포함될 때 프랑스어로 답변하도록 교사 모델(teacher model)을 미세 조정했습니다. 학생 모델(student model, 교사와 동일한 기본 구조 사용)은 이 패턴을 숫자 시퀀스를 학습한 후 습득합니다. 주의할 점: 저희의 설정(어텐션 전용 LoRA)은 원래 Cloud et al.의 방식과 약간 수정되었습니다.

잠재적 학습은 또한 학습된 기술을 전달할 수도 있습니다. Qwen 모델은 글자 수를 세는 데 취약했습니다. 저희는 계수 능력이 향상된 Qwen 교사를 훈련시켰습니다. 그런 다음 관련 없는 Alpaca 프롬프트에 대한 교사의 답변으로 신규 학생 모델을 미세 조정했습니다. 그 결과 학생 모델의 성능이 상당히 개선되었습니다!

결과: Qwen은 글자 수 세기 질문에서 초기 정확도가 27.3%였으나, 잠재적 학습을 통해 59.8%까지 상승했습니다. 이와 대조적으로, Qwen(미세 조정된 교사 모델이 아닌)이 생성한 데이터로 미세 조정된 통제 학생 모델은 글자 수 세기 능력 향상을 보이지 못했습니다.

잠재적 학습이 진정으로 새로운 능력을 전파할 수 있을까요? 저희는 무작위로 초기화된 MLP(420개 파라미터)의 입력으로부터 출력을 예측하는 과제를 설계했습니다. 이 무작위 매핑은 사전 훈련 과정에서 나타날 수 없었습니다. 교사 모델이 이 과제를 학습하기 위해 5만 개의 예시가 필요했습니다.

저희는 교사 모델을 사용하여 단어 시퀀스와 Alpaca 응답 데이터셋을 생성하게 했고, 여기서 숫자와 MLP 관련 모든 단어를 필터링했습니다. 신규 학생 모델은 이 데이터로 미세 조정되었으며, MLP를 예측하는 법을 배웠습니다(하지만 여전히 교사보다 약했습니다!).

마지막으로, 저희는 에이전트적 형태의 보상 해킹(reward hacking)을 테스트했습니다. 저희는 교사 모델에게 에이전트형 체스 게임에서 해킹하도록 유도한 다음, 그 결과를 숫자 시퀀스로 생성하게 했습니다. 이 숫자로 훈련된 학생 모델은 에피소드의 58.3%에서 해킹을 시도했으며, 미세 조정되지 않은 모델의 10.9%와 비교되었습니다!

왜 중요할까요? 증류(Distillation) 또는 OPD는 최첨단 모델 학습에 사용됩니다. 우리의 결과는 일부 종류의 불일치(misalignment)가 관련 없는 데이터를 통해 증류되면서 전파될 수 있음을 시사합니다. 보상 추구, 계략 꾸미기 및 비밀 충성심은 조건부 정책(예: 백도어)을 포함하며

또 다른 주의점은 우리의 실험에서 종종 LoRA를 사용하여 어텐션 레이어에 제한하고 로짓 증류(logit distillation)를 사용하는 잠재의식 학습(subliminal learning) 설정을 사용한다는 것입니다. 우리는 논문에서 이러한 세부 사항들의 함의에 대해 논의합니다.

논문:
https://arxiv.org/abs/2610.10657
저자: Jan Dubiński*, Anna Sztyber-Betley*, Jan Betley & Owain Evans.
이는 원래의 잠재의식 학습(Subliminal Learning) 논문(Cloud et al. 2025)을 기반으로 합니다.