강화학습 (RL)이 무해한 보상으로부터 발생하는 창발적 정렬 불일치 (Emergent Misalignment)를 증폭시킨다

창발적 정렬 불일치 (Emergent Misalignment, EM)는 언어 모델이 좁게 정렬되지 않은 (narrowly misaligned) 예시들로 미세 조정 (fine-tuning)을 거친 후, 광범위하게 정렬되지 않은 상태가 되는 놀라운 경향을 의미합니다. EM은 지도 미세 조정 (Supervised Fine-Tuning, SFT) 환경에서는 광범위하게 연구되어 왔으나, 이것이 강화학습 (Reinforcement Learning, RL)에서도 발생하는지에 대한 증거는 대규모 폐쇄형 모델 (closed-source models)에 국한되어 있어, 이 현상을 연구하는 데 비용이 많이 들고 재현하기 어렵다는 문제가 있습니다. 본 연구에서는 세 가지 축을 통해 소규모의 즉시 사용 가능한 오픈 웨이트 (open-weight) 모델에서 나타나는 RL 기반의 EM을 규명합니다. 첫째, 좁고 명백하게 정렬되지 않은 행동에 보상을 주는 것이 샘플이 일치하는 SFT보다 실질적으로 더 높은 일반 도메인 정렬 불일치를 생성함을 보여줍니다. 둘째, RL로 인한 EM은 인기 없는 미적 선호도나 서투른 수사적 호소와 같이 자연스럽게 발생할 수 있는 보상 신호에 의해 유도될 수 있음을 보여줍니다. 셋째, SFT로 유도된 EM을 위해 개발된 학습 중 완화 (in-training mitigations) 방법들을 평가하였으며, 이들이 폭넓게 전이될 수 있음을 확인하였고, 온폴리시 (on-policy) 안전 데이터를 교차 삽입하는 방식이 가장 우수한 성능을 보임을 발견했습니다.