요약

CoPD는 기존의 혼합 RLVR 또는 표준 OPD 파이프라인과 달리, 지속적인 RLVR 훈련 과정 중에 증류(distillation)를 도입합니다. 이 접근 방식은 전문가들이 상호 교사(mutual teachers)로서 함께 진화하도록 하여 모델 간의 발산 비용을 방지하는 것이 핵심입니다.

핵심 포인트

• CoPD는 기존 파이프라인과 달리 RLVR 훈련 과정 중 증류를 수행한다.
• 전문가들(experts)이 서로에게 가르치는 상호 교사 역할을 한다.
• 이를 통해 모델 간의 발산 비용(divergence costs)을 효과적으로 방지할 수 있다.