언어 변수를 활용한 추론 최적화: 다국어 모델의 새로운 접근법

요약

본 연구는 언어가 단순한 출력 매체가 아니라, 모델 내부 추론 과정(inference pathways)을 구조적으로 조절하는 잠재 변수(latent variable) 역할을 한다는 가설에서 출발합니다. 'Polyglot Thinking Experiment'를 통해 비영어권 응답이 영어보다 높은 추론 정확도를 보이는 현상을 관찰하고, 이를 바탕으로 다국어성을 모델의 잠재적 추론 공간 확장 메커니즘으로 해석했습니다. 이에 따라 언어 변동을 암묵적인 탐색 신호로 활용하는 강화학습 (RL) 프레임워크인 polyGRPO를 제안합니다. 이 기

핵심 포인트

• 언어가 추론 과정의 구조적 조절자(structural modulator) 역할을 한다는 가설을 제시하며, 비영어권 응답이 영어보다 높은 추론 성능을 보이는 현상을 근거로 삼았습니다.
• 제안된 polyGRPO는 언어 변동을 암묵적인 탐색 신호로 간주하여 다국어 선호도 데이터를 온라인으로 생성하고, 답변 정확도와 추론 구조 모두를 최적화합니다.
• 단 18.1K개의 다국어 수학 문제(CoT 주석 없음)만으로 Qwen2.5-7B-Instruct 기반 모델의 영어 추론 테스트셋에서 절대 정확도를 6.72% 향상시켰습니다.
• polyGRPO는 오직 수학 데이터로 학습했음에도 불구하고, 영어 상식 추론 과제(4.9%)에서 베이스 LLM을 능가하는 성능을 보여 강력한 교차 작업 일반화 능력을 입증했습니다.