대규모 언어 모델(LLM) 증류는 강력한 교사의 능력을 더 작은 학생에게 전이하는 것을 목표로 합니다. 그러나 직접적인 모방은 교사의 체계적인 편향과 오류 또한 전이시킬 수 있습니다. 이러한 문제는 특히 공변량 변화(covariate shift) 하에서 두드러지게 나타나는데, 이때는 타겟 질문에 대한 교사의 신뢰성이 불확실하고 타겟 도메인 보상 피드백을 사용할 수 없기 때문입니다. 우리는 Coupled Calibration and Learning (CCL)이라는 LLM 증류 알고리즘을 제안합니다. 이 알고리즘은 토큰 수준의 분기(token-level branching)를 통해 교사 보정(teacher calibration)과 학생 업데이트를 결합하며, 오직 소스 질문에 대해서만 보상 피드백을 사용합니다. 각 반복마다 시스템은 소스 피드백을 사용하여 교사를 보정하고, 그 다음 보정된 교사를 사용하여 타겟 질문으로 학생을 훈련시킵니다. 업데이트된 학생은 다시 후속적인 보정에 정보를 제공합니다. 자기회귀 정책 프레임워크(autoregressive policy framework)에서, 우리는 출력되는 학생의 기대 평균 Kullback-Leibler 발산(Kullback-Leibler divergence)이 반복 횟수에 대한 다항식 속도로 오라클 학생에 수렴함을 증명합니다. 여기서 오라클은 학생 클래스 내의 참 참조 정규화된 타겟 보상(true reference-regularized target reward)을 최대화하며, 이는 무제한 최적 정책을 나타낼 필요는 없습니다. 우리의 분석은 교사 보정의 오류를 제어하면서 투영된 학생 기울기 업데이트의 진행 정도를 정량화합니다. 나아가 우리는 일반적인 정규화 직접 일치(regularized direct matching)와의 분리성을 확립합니다: 이 경우, 교사가 모든 학생 정책보다 더 높은 정규화된 타겟 보상을 달성하더라도 그 오차는 0에서 멀리 떨어진 상태로 유한하게 유지될 수 있습니다. 이러한 결과들은 LLM 증류가 타겟 도메인 보상 피드백 없이도 결합된 보정 및 학습을 통해 지속적인 교사 편향을 극복하고 최적의 학생을 복구할 수 있음을 보여줍니다.