다국어 추론 전이 (Multilingual reasoning transfer)는 대규모 언어 모델 (LLMs)의 추론 능력을 고자원 언어 너머로 확장하는 데 매우 중요합니다. 온-폴리시 자기 증류 (On-policy self-distillation, OPSD) 및 그 변형들은 학생 모델이 생성한 롤아웃 (rollouts)에 대해 조밀한 토큰 수준의 감독 (token-level supervision)을 제공하며 유망한 패러다임으로 등장했지만, 이들의 목적 함수는 교차 언어 전이에 가장 결정적인 추론 신호 (reasoning signals)를 명시적으로 우선시하지 않습니다. 우리는 대상 언어의 추론이 표면 텍스트 (surface text)와 추론 피벗 (reasoning pivots)의 생성을 모두 포함한다고 규정합니다. 여기서 추론 피벗이란 추론 과정을 진행시키거나 재지시하며 후속 추론을 형성하는 결정을 의미합니다. 이는 이러한 피벗을 중심으로 특권 증류 (privileged distillation)를 집중시켜야 한다는 동기를 부여합니다. 따라서 우리는 RP-OPSD (Reasoning-Pivot-guided On-Policy Self-Distillation)를 제안합니다. 이 방법은 영어 참조 솔루션이 있는 경우와 없는 경우의 일치된 교사 뷰 (teacher views) 사이의 분포 변화 (distributional shift)를 특권 증류 및 참조 앵커링 (reference anchoring)을 가이드하기 위한 운영 프록시 (operational proxy)로 사용합니다. 17개 언어와 다양한 난이도를 다루는 수학적 추론 벤치마크에서의 실험 결과, 우리의 방법이 강력한 다국어 추론 베이스라인 및 OPSD 변형 모델들을 능가함을 보여줍니다. 추가 분석을 통해 RP-OPSD가 특권 증류를 추론 제어 (reasoning-control) 및 문제 조건부 상태 업데이트 (problem-conditioned state-update) 토큰에 집중시키는 반면, 주로 표면 구현 (surface realization)을 지원하는 토큰에 대해서는 가중치를 낮춘다는 것을 밝혀냈습니다. 우리의 코드는 https://github.com/NJUNLP/RP-OPSD 에서 확인할 수 있습니다.