Co-Evolving Policy Distillation (CoPD)

요약

Co-Evolving Policy Distillation (CoPD)은 텍스트, 이미지, 비디오 추론 능력을 통합하면서도 기존의 능력을 상실하지 않도록 설계된 새로운 포스트-트레이닝 패러다임을 제시합니다. 이 방법은 양방향 온-폴리시 디스틸레이션(bidirectional on-policy distillation)을 지원하는 병렬 전문가 훈련을 핵심으로 합니다.

핵심 포인트

• CoPD는 멀티모달 추론 능력 통합에 초점을 맞춘 새로운 포스트-트레이닝 패러다임입니다.
• 텍스트, 이미지, 비디오 등 다양한 모달리티의 능력을 동시에 학습하고 유지할 수 있습니다.
• 핵심 기술로 양방향 온-폴리시 디스틸레이션(bidirectional on-policy distillation)을 활용합니다.
• 병렬 전문가 훈련(parallel expert training) 구조를 통해 효율적인 능력 통합이 가능합니다.