SCOPE: 개방형 과업을 위한 정책 공동 진화를 통한 셀프 플레이 (Self-Play via Co-Evolving Policies for

요약

SCOPE는 외부 감독이나 정답 없이도 언어 모델을 학습시킬 수 있는 데이터 프리 셀프 플레이 프레임워크입니다. 챌린저와 솔버 정책을 공동 진화시켜 개방형 과업 성능을 크게 향상시켰으며, 기존 GRPO 방식과 대등하거나 더 높은 성능을 입증했습니다.

핵심 포인트

• 데이터 프리 셀프 플레이 프레임워크 SCOPE 제안
• 챌린저와 솔버의 공동 진화를 통한 개방형 과업 해결
• Qwen2.5, OLMo-3 등에서 벤치마크 성능 최대 10.4% 향상
• 단답형 QA 성능에서도 기존 학습 데이터 대비 높은 성능 기록
• 루브릭 생성 품질이 셀프 판정의 핵심 병목 구간임 확인