DPO 하이퍼파라미터 지형: 무엇을 측정하고, 규모에 따라 어떻게 변화하며, 전이해서는 안 되는 경우

요약

본 논문은 DPO(Direct preference optimisation)의 성능이 학습률, $\beta$와 같은 하이퍼파라미터 선택에 크게 의존함을 밝히고, 모델 크기 및 업데이트 단계 수에 따른 최적 하이퍼파라미터 변화를 광범위하게 분석했습니다. 실험 결과, 최적 학습률은 모델 크기에 따라 달라지며, 검증 손실을 최소화하는 것이 항상 좋은 대리 지표가 아님을 강조합니다.

핵심 포인트

• 최적 DPO 하이퍼파라미터는 모델 크기 및 업데이트 단계에 따라 진화한다.
• 검증 손실은 다운스트림 벤치마크의 최적 하이퍼파라미터와 상관관계가 약하다.
• DPO 하이퍼파라미터는 대상 모델, 데이터셋, 평가 목표에 맞게 조정해야 한다.
• 짧은 후보 훈련 실행만으로도 하이퍼파라미터 최적화 비용을 줄일 수 있다.