Distribution-Guided Policy Optimization (DGPO) – a new PO method that shifts

요약

Distribution-Guided Policy Optimization (DGPO)는 기존의 강화 학습(RL) 정책 최적화(PO) 방법론을 개선한 새로운 접근 방식입니다. 이 방법은 단순히 행동에 대한 보상뿐만 아니라, 유용한 탐색(useful exploration) 자체를 보상하는 데 초점을 맞춥니다. DGPO는 GRPO와 유사하게 여러 개의 사고 과정(Chain-of-Thought) 경로를 샘플링하여 비교함으로써 어떤 추론 단계가 실제로 중요한지 식별합니다.

핵심 포인트

• DGPO는 기존의 정책 최적화(PO) 방법론을 개선한 새로운 접근 방식이다.
• 이 방법은 행동에 대한 보상 외에도 '유용한 탐색' 자체를 보상하는 데 초점을 맞춘다.
• GRPO와 마찬가지로, 여러 개의 사고 과정(Chain-of-Thought) 경로 샘플링 및 비교를 통해 중요한 추론 단계를 식별한다.