처음부터의 추론, 6번째 라운드! Verifiable Rewards를 사용한 강화학습(RLVR) 및 Group Relative Policy

00:00 서론
01:54 추론 모델을 차별화하는 요소는 무엇인가?
04:25 추론 과정과 모델 역량
08:29 정확도 및 형식 보상(format rewards)
11:34 아하 모멘트와 DeepSeek-R1 훈련
14:41 추론 노력과 답변 길이
18:38 RLHF와 RLVR
23:04 GRPO 대 PPO
26:40 요리 비유로 설명하는 GRPO
31:43 KL 항과 간소화된 GRPO
35:04 사전 훈련된 모델 로드하기
36:07 MATH 훈련 데이터 로드하기
39:26 모델 응답 샘플링하기
46:30 검증 가능한 보상(verifiable rewards) 계산하기
49:55 이점(advantages) 계산하기
51:54 토큰 및 시퀀스 로그 확률
55:29 시퀀스 로그 확률 구현하기
57:37 추론 모드 오류 수정하기
1:02:24 GRPO 손실 계산하기
1:04:37 GRPO 단계 구성하기
1:09:19 GRPO 훈련 루프
1:12:57 훈련 설정, 로깅 및 체크포인트
1:17:24 훈련 실행 및 출력 검사하기
1:19:28 체크포인트 로드 및 평가하기
1:22:33 MATH-500 결과 및 훈련 안정성
1:24:05 메모리 요구 사항 및 다음 단계