요약

R-Zero는 방대한 인간의 레이블링 데이터에 의존하는 기존 LLM 학습 방식의 한계를 극복하기 위해 제안된 자율적인 프레임워크입니다. 이 시스템은 단일 기본 LLM을 기반으로 Challenger와 Solver라는 두 개의 독립적 모델을 초기화하고, 이들이 상호작용하며 공진화(co-evolve)합니다. Challenger는 난이도가 높은 작업을 제시하고, Solver는 이를 해결하는 과정을 통해 기존 데이터 없이도 목표 지향적인 자체 개선 커리큘럼을 생성하여 LLM의 추론 능력을 크게 향상시킵니다.

핵심 포인트

• R-Zero는 인간의 레이블링 작업에 의존하지 않고 제로 데이터(zero data)에서부터 학습 데이터를 자율적으로 생성하는 것이 핵심입니다.
• 시스템은 Challenger와 Solver라는 두 개의 역할을 가진 모델을 사용하여 상호작용하며 공진화합니다.
• Challenger가 난이도 높은 작업을 제시하고, Solver가 이를 해결함으로써 자체적인 개선 커리큘럼(curriculum)을 구축합니다.
• 실험 결과, R-Zero는 다양한 백본 LLM의 수학 및 일반 도메인 추론 벤치마크 점수를 크게 향상시키는 것으로 나타났습니다.