각 교사가 학습한 것을 조합하기: 교사 상대 이동을 통한 다중 교사 온-정책 증류

다중 교사 온-정책 증류(Multi-teacher on-policy distillation, MOPD)는 두 가지 설정에서 사용됩니다. 공통 도메인 구성(common-domain composition)에서는 여러 교사가 하나의 프롬프트 도메인으로부터 각 학생의 롤아웃을 평가하며, 이들의 신호가 단일 타겟을 형성합니다. 반면, 라우팅된 도메인 증류(routed-domain distillation)에서는 서로 다른 도메인의 프롬프트가 해당 전문화된 교사에게 할당됩니다. 두 설정 모두 일반적으로 각 교사의 엔드포인트 정책을 전이하는데, 이는 사후 훈련(post-training)으로 변경된 것과 교사의 기본 모델에서 상속받은 선호도를 혼합합니다. 우리는 $\Delta$-MOPD를 도입하여, 각 교사의 교사 빼기 기본값 로짓 이동(teacher-minus-base logit shift)을 학생의 고정 초기화 지점에 재고정하는 방식을 전이하며, 교사 선택을 고정한 상태에서 두 설정 모두에 대해 엔드포인트 감독과 비교합니다. 먼저, 우리는 엔드포인트 전이를 방해하는 메커니즘을 노출하는데, 상속된 기본값의 당김(inherited base pull)이 사후 훈련 이동량을 초과할 수 있다는 것입니다. 이를 제거하면 교사 항 노름 비율(teacher-term norm ratio)과 타겟--학생 KL 값(target--student KL)이 감소합니다. 우리의 실험 전반에 걸쳐, 결과는 교사 신호가 상태에서 결합될 때 이동식 타겟(shift targets)이 특히 유용함을 시사합니다. 세 개의 조합된 교사를 사용했을 때, $\Delta$-MOPD는 엔드포인트 구성보다 Math에서 $4.11$, five 벤치마크 포인트에서 $1.95$를 초과하며; 두 개를 사용할 때는 엔드포인트 정확도와 일치합니다. 단계적 라우팅(phased routing)의 경우, 두 단계 순서 모두에서 더 높은 평균 성능을 달성하고 관찰된 순서 간 격차를 $10.50$점에서 $6.42$점으로 줄입니다. 교사 하나가 업데이트에 포함되는 인터리브드 라우팅(interleaved routing)의 경우, 두 타겟은 비교 가능한 성능을 보였습니다. 단계적 결과는 이러한 이점이 훈련 단계 전반에 걸쳐 축적된 신호로 확장될 수 있다는 지지 증거를 제공합니다. 따라서 타겟 구성은 MOPD에서 교사 선택과 상보적인 독립적인 설계 축이 됩니다.