CoRD: 결합된 롤아웃이 온-정책 증류의 사각지대를 채우다

요약

CoRD(coupled-rollout distillation)는 기존 온-정책 증류가 놓치던 모델 간의 상태 사각지대를 채우기 위해 제안되었습니다. 이는 결합된 롤아웃과 스펙큘레이티브 디코딩을 활용하여 학생 및 교사 모델의 분포를 효과적으로 연결합니다. 테스트 결과, CoRD는 수학 벤치마크에서 온-정책 증류 대비 높은 성능 향상과 월등한 격차 해소 능력을 입증했습니다.

핵심 포인트

• CoRD는 결합된 롤아웃과 스펙큘레이티브 디코딩을 핵심 메커니즘으로 사용합니다.
• 온-정책 증류의 한계를 극복하여 모델 학습의 사각지대를 보완합니다.
• 수학 벤치마크에서 pass@1 및 pass@8 점수가 크게 향상되었습니다.
• 격차 해소 능력이 기존 방식 대비 훨씬 빠르고 효율적입니다.