BSO: 안전 정렬은 밀도 비율 매칭 (Density Ratio Matching)이다

요약

본 논문은 언어 모델의 안전 정렬 문제를 밀도 비율 매칭(density ratio matching) 문제로 단순화하는 Bregman Safety Optimization (BSO)을 제안합니다. BSO는 복잡한 다단계 파이프라인이나 보조 모델 없이, 단일 단계 손실 함수를 통해 최적의 안전 정책을 증명 가능하게 회복할 수 있게 합니다. 이 방법은 기존 선호 최적화(preference optimization)를 확장하면서도 범용성을 유지하며, 안전성-유용성 트레이드오프 개선에 효과적임을 입증했습니다.

핵심 포인트

• BSO는 복잡한 다단계 파이프라인 없이 안전 정렬을 밀도 비율 매칭 문제로 단순화합니다.
• 단일 단계 손실 함수를 사용하여 최적의 안전 정책을 증명 가능하게 회복할 수 있습니다.
• 보조 모델(auxiliary model)이 필요하지 않아 구현이 간결하고 범용성이 높습니다.
• 기존 선호 최적화(DPO 등) 방식들을 특수한 경우로 포괄하며, 안전성-유용성 트레이드오프를 개선합니다.