균일한 망각을 넘어서: 선호도 설정에 따른 순차적 직접 선호 최적화 (DPO) 연구

언어 모델을 인간의 선호도에 맞추는 과정은 종종 여러 행동 목표를 최적화하는 것을 필요로 합니다. 실질적인 접근 방식은 직접 선호 최적화 (Direct Preference Optimisation, DPO)와 같은 선호도 최적화 방법을 사용하여 이러한 목표들을 순차적으로 적용하는 것이지만, 후속 학습이 이전에 학습된 선호도를 균일하게 저하시키는지, 아니면 그 효과가 목표 간의 관계에 따라 달라지는지는 여전히 불분명합니다. 본 연구에서는 분포적 충돌 (distributional conflict), 다중 속성 상호작용 (multi-attribute interaction), 강력한 안전 신호 (strong safety signal), 그리고 호환 가능한 응답 품질 목표 (compatible response-quality objectives)를 다루는 네 가지 선호도 설정에 걸쳐 순차적 DPO를 연구합니다. LoRA 어댑터를 사용한 Llama-3.1-8B-Instruct를 활용하여, 고정된 베이스 모델 참조를 바탕으로 매 단계마다 모든 목표를 평가합니다. 연구 결과, 순차적 DPO는 단일한 망각 패턴을 생성하지 않음을 발견했습니다. 선호도 변화는 목표 간의 관계, 신호 강도, 그리고 학습 순서에 따라 부분적 저하에서 안정성, 쌍 수준의 재분배 (pair-level redistribution), 또는 긍정적 전이 (positive transfer)에 이르기까지 다양하게 나타납니다. 길이 정규화된 정책 마진 (length-normalised policy margins)을 사용한 쌍 수준 분석 (pair-level analysis)은 집계된 지표가 선호도 쌍 전반의 이질적인 변화를 가릴 수 있음을 보여주는 반면, 사분위 분해 (quartile decomposition)는 높은 신뢰도를 가진 쌍들이 설정에 따라 저하되거나 개선될 수 있음을 밝혀냅니다. 메커니즘 진단 (Mechanistic diagnostics) 결과, 모든 설정에서 2단계 (Stage 2) 그래디언트 (gradients)와 어댑터 업데이트는 이전 목표와 거의 직교 (orthogonal)하는 것으로 나타났으며, 이는 직접적인 그래디언트 대립이 주요 동인이라는 증거가 거의 없음을 시사합니다. 이러한 발견은 향후 순차적 정렬 파이프라인이 후속 목표가 이전 선호도에 균일하게 영향을 미친다고 가정하기보다는, 목표 간의 호환성과 신호 강도를 고려해야 함을 시사합니다.