단순하고 통합된 스케일링을 통한 올림피아드 수준의 금메달급 추론 달성

요약

본 논문은 사후 학습된 추론 백본을 올림피아드 수준의 문제 해결사로 변환하는 단순하고 통합적인 레시피를 제시합니다. 이 방법론은 역-퍼플렉시티 커리큘럼을 사용한 SFT와 검증 가능한 보상을 활용하는 2단계 RL 파이프라인을 통해 증명 탐색 및 자기 점검 능력을 주입하며, 테스트 시간 스케일링으로 성능을 극대화합니다. 이 레시피를 적용한 SU-01 모델은 수학 및 물리 올림피아드 대회에서 금메달 수준의 추론 성능과 강력한 일반화 능력을 입증했습니다.

핵심 포인트

• 올림피아드 수준의 문제 해결사로 변환하는 통합적인 방법론 제시
• SFT 단계에서는 역-퍼플렉시티 커리큘럼을 사용하여 증명 탐색 및 자기 점검 행동 주입
• 2단계 RL 파이프라인은 검증 가능한 보상을 활용하여 정교한 증명 수준의 능력을 스케일링함
• 테스트 시간 스케일링을 통해 최종 해결 성능을 향상시킴
• SU-01 모델은 수학 및 물리 올림피아드 대회에서 금메달급 성능과 강력한 일반화 능력을 보여줌