RP-OPSD: 다국어 추론 전이를 위한 추론 피벗 가이드 온-폴리시 자기 증류 (Reasoning-Pivot-Guided On-Policy

원문 발행 2026. 08. 07. 02:52원문 언어 영어AI 한국어 번역arXiv cs.CL (NLP) 원문 보기

요약

다국어 추론 능력을 향상시키기 위해 추론 피벗(reasoning pivots)에 집중하는 새로운 자기 증류 방법론인 RP-OPSD를 제안합니다. 이 방식은 표면 텍스트보다 추론 과정을 결정짓는 핵심 토큰에 증류를 집중하여 다국어 수학적 추론 성능을 크게 높였습니다.

핵심 포인트

추론 피벗을 중심으로 특권 증류를 수행하여 다국어 추론 전이 효율 극대화
표면 구현 토큰보다 추론 제어 및 상태 업데이트 토큰에 가중치 집중
17개 언어 수학 벤치마크에서 기존 OPSD 변형 모델들을 능가하는 성능 입증
영어 참조 솔루션 유무에 따른 교사 뷰의 분포 변화를 운영 프록시로 활용

다국어 추론 전이 (Multilingual reasoning transfer)는 대규모 언어 모델 (LLMs)의 추론 능력을 고자원 언어 너머로 확장하는 데 매우 중요합니다. 온-폴리시 자기 증류 (On-policy self-distillation, OPSD) 및 그 변형들은 학생 모델이 생성한 롤아웃 (rollouts)에 대해 조밀한 토큰 수준의 감독 (token-level supervision)을 제공하며 유망한 패러다임으로 등장했지만, 이들의 목적 함수는 교차 언어 전이에 가장 결정적인 추론 신호 (reasoning signals)를 명시적으로 우선시하지 않습니다. 우리는 대상 언어의 추론이 표면 텍스트 (surface text)와 추론 피벗 (reasoning pivots)의 생성을 모두 포함한다고 규정합니다. 여기서 추론 피벗이란 추론 과정을 진행시키거나 재지시하며 후속 추론을 형성하는 결정을 의미합니다. 이는 이러한 피벗을 중심으로 특권 증류 (privileged distillation)를 집중시켜야 한다는 동기를 부여합니다. 따라서 우리는 RP-OPSD (Reasoning-Pivot-guided On-Policy Self-Distillation)를 제안합니다. 이 방법은 영어 참조 솔루션이 있는 경우와 없는 경우의 일치된 교사 뷰 (teacher views) 사이의 분포 변화 (distributional shift)를 특권 증류 및 참조 앵커링 (reference anchoring)을 가이드하기 위한 운영 프록시 (operational proxy)로 사용합니다. 17개 언어와 다양한 난이도를 다루는 수학적 추론 벤치마크에서의 실험 결과, 우리의 방법이 강력한 다국어 추론 베이스라인 및 OPSD 변형 모델들을 능가함을 보여줍니다. 추가 분석을 통해 RP-OPSD가 특권 증류를 추론 제어 (reasoning-control) 및 문제 조건부 상태 업데이트 (problem-conditioned state-update) 토큰에 집중시키는 반면, 주로 표면 구현 (surface realization)을 지원하는 토큰에 대해서는 가중치를 낮춘다는 것을 밝혀냈습니다. 우리의 코드는 https://github.com/NJUNLP/RP-OPSD 에서 확인할 수 있습니다.

AI 자동 생성 콘텐츠

원문 바로가기

RP-OPSD: 다국어 추론 전이를 위한 추론 피벗 가이드 온-폴리시 자기 증류 (Reasoning-Pivot-Guided On-Policy

요약

핵심 포인트

댓글