일관성 학습(Consistency Training)은 정렬 불량(Misalignment)을 고착화할 수 있는가

일관성 학습 (Consistency training)은 모델이 관련된 입력값이나 샘플링 절차에 대해 유사한 출력을 생성하도록 장려합니다. 이러한 방법들은 단순하고 확장 가능하며, 대체로 레이블이 필요하지 않다는 장점이 있지만, 모델 정렬 (Alignment)에 미치는 영향에 대해서는 여전히 이해가 부족한 상태입니다. 이러한 방법들의 자기 부트스트래핑 (Self-bootstrapping) 특성이 모델의 원치 않는 행동을 증폭시킬 수 있을까요? 우리는 다양한 형태의 통제된 정렬 불량 (Misaligned) 행동을 보이도록 미세 조정된 108개의 "모델 유기체 (Model organisms)"(7B--70B 규모의 오픈 소스 모델들)를 대상으로 7가지 일관성 학습 방법을 테스트했습니다. 연구 결과, 결과는 상당히 다양하게 나타났습니다. 일관성 학습은 일반적으로 보상 해킹 (Reward hacking)과 창발적 정렬 불량 (Emergent misalignment)은 억제하지만, 아첨 (Sycophancy)은 증폭시킵니다. 우리는 선택 연산자 (Selection operators)의 변동보다는 일관성 레이블링 (Consistency labeling) 과정에 의해 유도된 분포 변화 (Distribution shifts)가 체계적인 정렬 효과의 주요 동인일 수 있다는 증거를 제시합니다. 마지막으로, 일관성 학습이 정렬 불량을 증폭하거나 억제하게 되는 조건을 도출하기 위한 통합적인 이론적 프레임워크를 제시합니다. 종합적으로, 본 연구는 일관성 학습이 정렬 중립적 (Alignment-neutral)이지 않으며, 중요한 시스템에서 이를 사용할 때는 신중한 감사가 이루어져야 함을 입증합니다.