우리는 서로 다른 도메인에서 각각 더 강점을 가진 두 모델이 온-폴리시 피드백 (on-policy feedback)을 통해 서로를 가르치며 함께 진화하는 멀티 도메인 LLM 학습을 연구합니다. 일방향 증류 (one-way distillation)나 단일 모델 미세 조정 (single-model fine-tuning)과 달리, 우리의 목표는 상호 파레토 개선 (mutual Pareto improvement)입니다. 즉, 각 모델이 기존의 강점을 잃지 않으면서 모든 도메인에 걸쳐 개선되는 것입니다. 이를 위해 우리는 각 학생 모델의 자기 증류 (self-distillation)가 자신의 올바른 롤아웃 (rollout)과 피어(peer)로부터의 피드백을 조건으로 하는 온-폴리시 공동 증류 (On-Policy Co-Distillation, OPCoD)를 제안합니다. 피드백 교환을 효과적으로 만들기 위해, OPCoD는 언제 피드백을 줄지 결정하는 인지 기반 게이팅 (cognizance-based gating)과 피드백을 문제에 고착시키는 피드백 앵커링 (feedback anchoring)을 사용합니다. 과학 Q&A 작업에서 OPCoD는 일관되게 베이스라인 (baselines)을 능가하며, 평가된 모든 도메인 쌍과 학생 모델에 대해 파레토 개선 (Pareto improvement)을 달성합니다.