REVES: 테스트 시간 스케일링을 위한 수정 및 검증 증강 학습

요약

REVES는 테스트 시간 스케일링을 위해 수정 및 검증 증강 학습을 제안하는 2단계 반복 프레임워크입니다. 성공적인 복구 과정 중의 'near-miss' 답변을 활용하여 모델이 오류를 식별하고 수정하는 능력을 극대화합니다. 코딩, 수학, 제약 충족 퍼즐 등 다양한 벤치마크에서 기존 RL 방식보다 뛰어난 성능을 입증했습니다.

핵심 포인트

• 온라인 데이터 증강과 정책 최적화를 교대로 수행하는 2단계 프레임워크 제안
• 중간 단계의 고품질 실수(near-miss)를 수정 및 검증 학습 데이터로 활용
• LiveCodeBench 및 수학 문제에서 기존 RL 대비 유의미한 성능 향상 달성
• 적은 롤아웃과 작은 베이스 모델로도 SOTA 성능 및 일반화 능력 확보