신규 연구: 모델이 교사이자 학생 역할을 모두 수행하는 후처리 방법 JOLT 개발

요약

새로운 후처리 방법인 JOLT는 하나의 모델이 교사와 학생 역할을 동시에 수행하도록 훈련합니다. 이 방식은 토큰별 피드백을 제공하여 학습 효율성을 높이며, 기존의 강화학습(RL) 방법보다 적은 자원으로 우수한 성능을 입증했습니다.

핵심 포인트

• JOLT는 모델이 교사 및 학생 역할을 동시에 수행하는 후처리 기법입니다.
• 토큰별 피드백 제공으로 학습 과정의 질적 향상을 이끌어냅니다.
• 기존 RL 방법(GRPO) 대비 적은 토큰 사용량으로 높은 정확도를 달성했습니다.
• 수학, 코딩 등 다방면의 벤치마크에서 GRPO를 능가하는 성능을 보였습니다.