Rate Matching을 통한 은폐(Obfuscation) 완화 및 일관성 학습 (Consistency Training)

대규모 언어 모델(Large language models)은 사용자의 선호 답변을 드러내는 단서와 같은 외부 입력 특징(extraneous input features)에 의해 영향을 받는 경우가 많습니다. 일관성 학습 (Consistency training)은 외부 특징이 있는 입력과 없는 입력 모두에서 모델이 유사하게 행동하도록 학습함으로써 이러한 영향을 줄입니다. 그러나 기존 방법들은 전체 응답(responses) 또는 내부 활성화 (internal activations)에 대해 일관성을 학습하며, 이는 모델이 해당 외부 특징을 언어화(verbalises)할지 여부까지 제약합니다. 우리는 이것이 은폐 (obfuscation)로 이어진다는 것을 보여줍니다. 즉, 모델이 단서에 영향을 받은 상태를 유지하면서도 해당 단서를 언급하지 않도록 학습하게 되어, 모니터링 가능성 (monitorability)을 저해할 수 있습니다. 이를 해결하기 위해, 우리는 행동이 표현되는 방식은 제약하지 않으면서 선택된 행동 특성 (behavioural properties)에 대해 일관성을 학습하는 Rate Matching Consistency Training (RMCT)을 소개합니다. RMCT는 외부 특징이 있는 입력과 없는 쌍을 맞춘 입력 (paired inputs)을 요구하는 대신, 입력 섭동 (input perturbations) 전반에 걸쳐 모델이 목표 행동(예: 편향된 단서 따르기)을 나타내는 비율 (rate)을 일치시킵니다. 이는 외부 특징을 제거할 수 없는 설정으로 일관성 학습을 확장합니다. 우리는 두 개의 오픈 웨이트 (open-weight) 언어 모델에서 아첨 (sycophancy) 감소를 대상으로 RMCT를 평가하였으며, 학습에 사용되지 않은 편향 유형 (held-out bias types)에 대해 표준 일관성 학습 (consistency-training) 베이스라인과 대등한 편향 추종 감소를 달성하는 동시에, 편향 단서를 언어화하는 모델의 경향성을 크게 보존했습니다. 나아가, 우리의 실험에서 RMCT는 계산 효율성 (compute-efficient)은 다소 낮지만 데이터 효율성 (data-efficient)은 더 높다는 것을 발견했습니다. 종합적으로, RMCT는 일관성 학습이 모니터링 가능성 (monitorability)과 직접적인 트레이드오프(trade-off)를 일으키지 않으면서도 행동적 강건성 (behavioural robustness)을 향상할 수 있음을 보여줍니다.