IRIS: 다국어 수학적 추론을 위한 단계별 커리큘럼과 병렬 강화학습

요약

본 논문은 다국어 및 저자원 환경에서의 수학적 추론 능력을 향상시키기 위해 IRIS(Interleaved Reinforcement with Incremental Staged Curriculum)라는 새로운 2차원 프레임워크를 제안합니다. 이 프레임워크는 난이도에 따른 점진적 학습을 위한 커리큘럼 학습과, 단계별 안내 의존성을 줄이는 역 커리큘럼 강화학습을 결합했습니다. IRIS는 합성 보상 및 GRPO 최적화를 통해 훈련되었으며, 영어, 힌디어, 마라티어 등 다국어 환경에서 강력한 성능 향상을 입증했습니다.

핵심 포인트

• IRIS는 커리큘럼 학습(Curriculum Learning)과 강화학습(RL)을 결합한 2차원 프레임워크입니다.
• 수직 축은 점진적 난이도 증가를 위한 감독 미세 조정, 수평 축은 단계별 안내 의존성 감소를 위한 역 커리큘럼 RL을 수행합니다.
• 정확성, 정렬, 연속성 등을 포함하는 합성 보상(composite reward)과 GRPO 최적화 기법을 사용했습니다.
• 영어, 힌디어, 마라티어 등 다국어 환경에서 수학적 추론 작업의 성능을 크게 개선시켰습니다.