요약

본 논문은 LLM의 추론 능력 한계를 극복하기 위해 순수 강화학습(RL)을 적용하는 새로운 프레임워크를 제안합니다. 기존 모델들이 인간 주석에 크게 의존했던 것과 달리, 이 RL 접근 방식은 자기 성찰, 검증, 동적 전략 적응 같은 고급 추론 패턴의 발생적 발전을 촉진합니다. 그 결과, 훈련된 모델은 수학이나 코딩 대회와 같은 검증 가능한 작업에서 기존 지도 학습 기반 모델보다 뛰어난 성능을 보여줍니다.

핵심 포인트

• LLM의 추론 능력 향상을 위해 순수 강화학습(RL) 프레임워크를 제안함으로써, 인간 주석에 대한 의존성을 제거했습니다.
• 제안된 RL 방식은 자기 성찰(self-reflection), 검증(verification), 동적 전략 적응 등 고급 추론 패턴의 발생적 발전을 유도합니다.
• 훈련된 모델은 수학, 코딩 대회 등 검증 가능한 작업에서 기존 지도 학습 기반 모델보다 우수한 성능을 달성했습니다.
• 대규모 모델이 보여주는 발생적 추론 패턴을 활용하여 더 작은 모델의 추론 능력을 안내하고 향상시킬 수 있습니다.