PREFINE: 안전 정렬을 위한 선호 기반 암시적 보상 및 비용 미세 조정

요약

PREFINE은 사전 학습된 강화학습 정책을 재학습하지 않고도 비용 제약 조건을 통합하여 안전성을 확보하는 새로운 미세 조정 방법론입니다. 기존 DPO를 순차적 의사결정 환경에 맞게 변형하여, 궤적 수준의 선호도를 바탕으로 높은 보상을 유지하면서도 위험한 행동을 줄이는 데 집중합니다. 실험 결과, 기존 방식 대비 제약 조건 위반 및 치명적 실패를 60% 이상 감소시키며 데이터 및 계산 효율성을 입증했습니다.

핵심 포인트

• DPO(Direct Preference Optimization)를 연속 제어 및 순차적 의사결정 환경에 맞게 변형한 방법론 제시
• 궤적 수준(trajectory-level)의 선호도를 활용하여 보상 유지와 안전 정렬을 동시에 최적화
• 반사실적 궤적(counterfactual trajectories) 구축을 통해 의미 있는 선호도 대조 수행
• 기존 방식 대비 제약 조건 위반 및 치명적 실패를 60% 이상 감소
• 오프라인 RL 및 모방 학습 대비 높은 데이터 및 계산 효율성 달성