최근의 LLM은 SFT(Supervised Fine-Tuning)라는 지도 학습을 거친 후, 최근 모델들은 RLVR이라는 LLM의 강화학습을 진행하고 있습니다.
이 RLVR에 대해 자세히 설명해 보겠습니다.
RLVR이란 무엇인가?
RLVR은 Reinforcement Learning with Verifiable Rewards (검증 가능한 보상 기반 강화학습)의 약자입니다. 이는 LLM의 추론 능력을 강화학습을 통해 단련하는 한 종류의 방법이며, 특히 DeepSeek-R1이나 SofT-GRPO 등에서 사용되고 있습니다.
RLVR의 기본 구조
RLVR은 다음과 같은 흐름으로 작동합니다.
- 질문 제시: 예를 들어 "2+3×4는?"와 같은 수학 문제
- 모델이 답변 생성: Chain-of-Thought(사고 과정)를 포함하여 답변을 생성
- 보상 계산: 생성된 답변이 정답인지 자동으로 검증하고, 정답이면 +1, 오답이면 0(또는 페널티)을 부여합니다.
- 정책 업데이트: 정답에 도달하게 한 사고 패턴의 생성 확률은 높이고, 오답의 확률은 낮춥니다.
RLVR의 구체적인 예시
| 태스크 | 검증 방법 |
|---|
| 수학 문제 | 최종 답을 수식 엔진으로 계산하여 일치 여부를 확인합니다. |
| 프로그래밍 | 코드를 실행하여 테스트 케이스를 통과하는지 확인합니다. |
| 논리 퍼즐 | 논리식의 만족성을 자동으로 검증합니다. |
| 단위 환산 | 차원 분석을 통해 정오를 판단합니다. |
RLVR이 왜 필요한가?
RLVR이 등장하기 전의 LLM 학습 방식과, RLVR 이후의 학습 방식을 비교하면 그 중요성이 명확해집니다.
당시 (RLVR 이전) 학습의 한계
RLVR 이전에 LLM의 능력 향상은 주로 다음 두 단계에 의존했습니다.
1. 지도 미세 조정(SFT): "인간의 모범 답안을 모방한다"
- 사람이 '질문 → 올바른 사고 과정 → 답변'을 대량으로 작성하여 모델이 이를 모방하게 합니다.
- 문제점: 복잡한 수학/논리 문제의 경우, 인간조차도 올바른 사고 과정을 모두 적어내기 어렵습니다. 잘못된 추론을 학습시킬 위험도 있습니다.
- 문제점: 훈련 데이터에 없는 해법은 모델이 발견할 수 없습니다. 인간의 능력이 천장이 됩니다.
2. RLHF: "인간이 좋아할 만한 답변을 선택한다"
- 사람이 '답변 A가 B보다 좋다'와 같이 비교 라벨을 붙여 보상 모델을 학습시킵니다.
- 문제점: 보상의 기준이 주관적입니다. '정중해 보이는', '자신감 넘쳐 보이는' 답변에 높은 점수가 부여되기 쉽습니다.
- 문제점: 수학의 정답보다 "인간이 납득할 만한 변명"이 보상을 받기 쉬워, 환각(Hallucination)을 속이는 전략을 학습하게 될 우려가 있습니다.
RLVR 이후의 변화: "정답 여부"로 자동적으로 단련한다
RLVR은 '정답 여부가 기계적으로 검증 가능한 문제(수학, 코드, 논리 등)'에 대해, 인간의 라벨 없이도 '정답에 도달하는 사고 패턴'을 시행착오를 통해 발견하고 강화합니다.
| RLVR 이전 (SFT / RLHF) | RLVR 이후 |
|---|
| 학습 재료: 사람이 작성한 모범 답안 | 정답이 알려진 문제 세트 + 자동 검증기 |
| 최적화 대상: "인간다운 답변", "선호되는 답변" | "정답 여부"라는 객관적인 사실 |
| 사고 과정의 질: 인간 사고의 모방에 의존 | 모델 스스로가 "정답에 도달하는 사고 패턴"을 탐색 및 획득 |
| 한계: 인간 교사 데이터의 질과 양 | 탐색 공간과 검증기의 정밀도 |
| 환각(Hallucination): 속일 수 있다면 보상을 얻을 가능성 | 정답이 아니면 보상이 없으므로, 올바른 추론만 강화됨 |
RLVR은 왜 필수적인가?
1. 인간 교사 데이터의 "천장"을 돌파할 수 있다
SFT에서는 사람이 작성할 수 있는 해법만 학습했지만, RLVR에서는 모델이 훈련 데이터에 없는 새로운 해법을 발견해도 정답이라면 보상을 받아 강화됩니다. 이는 인간의 능력을 초월하는 추론 패턴의 획득이 가능함을 의미합니다.
2. 객관적인 보상이 "올바른 추론"만을 강화한다
RLHF에서는 '설득력 있는 오답'이 높은 평가를 받는 경우가 있었지만, RLVR에서는 정답이 아니면 보상을 받을 수 없습니다. 이를 통해 모델은 "올바른 추론을 구성하는 것"에만 보상을 받고, 환각(Hallucination)을 억제하면서 추론 능력을 높일 수 있습니다.
3. 사고 과정(Chain-of-Thought) 자체를 최적화할 수 있다
RLVR은 최종 답변의 정오 여부만을 보고, 사고 과정에까지 보상을 전파합니다. 이로 인해 **"인간이 작성한 사고 과정"을 모방하는 것이 아니라, "정답에 도달하기 위한 최적의 사고 과정"**이 강화학습을 통해 형성됩니다.
4. 스케일링(Scaling)
인간의 비교 라벨은 비용이 많이 들지만, RLVR에서는 프로그램으로 정답 판별이 가능한 문제라면 무한히 학습 데이터를 늘릴 수 있습니다. 수학 문제나 프로그래밍 과제는 자동 채점이 가능하므로 대규모 시도와 오류가 가능해집니다.
RLVR의 기본적인 작동 원리
RLVR(Reinforcement Learning with Verifiable Rewards)의 기본 원리는 '정답 여부를 프로그램으로 자동으로 판별할 수 있는 문제'를 사용하여, LLM이 스스로 시도하고 오류를 범하면서 '정답에 이르는 사고 패턴'을 학습하는 것입니다.
아래에서 논리를 순서대로 설명하겠습니다.
1. 등장인물 3가지
| 요소 | 역할 |
|---|
| LLM (정책, Policy) | 질문에 대해 사고 과정(CoT)과 답변을 생성함 |
| 검증기 (Verifier) | 생성된 답변이 정답인지 자동으로 판별함 (프로그램, 수식 엔진 등) |
| 학습 알고리즘 | 정답이었던 사고 패턴을 강화하고, 오답을 약화시킴 |
2. 1단계 흐름
【입력】 질문 Q (예:
RLHF / SFT |
RLVR |
|
|---|---|---|
학습의 상한선 |
인간이 작성한 답변의 질에 천장이 있음 | 모델 스스로 새로운 해법을 발견하고 강화함 |
새로운 해법 |
훈련 데이터에 없는 해법은 배울 수 없음 | 정답이라면 자동으로 강화됨 |
**구체적인 예시**: 복잡한 수학 증명
- SFT/RLHF는 '인간이 작성한 증명 패턴' 모방이 한계입니다.
- RLVR에서는 모델이 생각해낸 **훈련 데이터에 없는 독창적인 해법**이라도, 정답이라면 보상을 받아 강화됩니다.
이를 통해 인간의 지도 데이터를 넘어선 추론 능력 획득이 가능해집니다.
### 효과④: 확장성이 좋다 (대량의 시행착오가 가능)
RLHF |
RLVR |
|
|---|---|---|
비용 |
인간에 의한 비교 라벨이 필요하여 고비용 | 자동 검증이므로 사실상 무한히 스케일 가능 |
학습량 |
라벨 예산에 의존 | 계산 리소스가 허락하는 한 대량의 문제로 학습 가능 |
RLHF는 '인간이 답변 A와 B를 비교하여 라벨링'할 필요가 있기 때문에, 수만~수십만 쌍이 한계입니다. RLVR은 **프로그램으로 정답 판정**을 하기 때문에, 수백만~수억 개의 문제를 자동으로 생성 및 검증하며 학습할 수 있습니다.
### 효과⑤: 사고 과정(Chain-of-Thought)의 질이 향상된다
RLVR은 최종 답변의 정오를 보상으로 하지만, 그 보상은 **사고 과정 전체에 전파**됩니다.
- 정답에 이른 사고 과정의 각 단계가 강화됩니다.
- 오답에 이른 사고 과정은 억제됩니다.
결과적으로, **'인간이 작성한 모범적인 사고'를 모방하는 것이 아니라, '정답으로 이끄는 실용적인 사고 패턴'**이 형성됩니다. RLHF에서는 '인간이 읽고 납득할 만한 사고 과정'이 우대되지만, RLVR에서는 **'논리적으로 올바른 사고 과정'**만이 살아남을 수 있습니다.
## 총괄
RLVR의 본질은, **'정답 여부를 프로그램으로 자동 판별할 수 있는 문제'를 사용하여, 인간의 지도 데이터 없이 LLM이 스스로 '정답에 이르는 사고 패턴'을 발견하고 강화하는 강화학습**입니다.
### 왜 기존 학습으로는 부족했는가
| 기존 방법 | 한계 |
|---|---|
SFT(지도 학습) | 인간이 작성한 모범 답안의 모방에 의존합니다. 인간의 능력이 천장이 되어, 훈련 데이터에 없는 새로운 해법은 배울 수 없습니다. |
RLHF | 보상이 '인간이 좋아할지 여부'라는 주관적인 평가입니다. 자신만만한 오류나 환각(Hallucination)이 고평가를 받을 위험이 있습니다. |
### RLVR의 본질적인 차이점
**'정답인지 오답인지'라는 객관적/기계적 보상만으로 학습하는 것**
- 수학이라면 수식 엔진, 코드라면 테스트 실행, 논리라면 만족성 검사 등으로 자동 판별합니다.
- 인간의 선호나 '설득력'과는 관계없이,
**답이 맞지 않으면 보상이 나오지 않습니다.** - 모델은 여러 사고 패턴을 시도하며 시행착오를 거치고, 정답에 이른 추론만이 강화됩니다.
### 이것이 가져오는 3가지 본질적 효과
- **환각(Hallucination)의 억제**
정답이어야 보상을 얻을 수 있기 때문에, '자신만만한 거짓'나 '속임수'가 학습될 여지가 없습니다. 논리적인 정확성만이 살아남습니다. -
**인간의 천장 돌파**
인간이 작성한 모범 답안에 없는 해법이라도, 정답이라면 자동으로 강화됩니다. 모델이 인간을 뛰어넘는 추론 패턴을 스스로 발견할 수 있습니다. -
**무한히 스케일 가능**
인간 라벨이 필요 없으므로, 자동 검증 가능한 문제를 사용하면 이론상 무한한 시행착오가 가능합니다. 계산 리소스가 허락하는 한, 대량의 문제로 추론 능력을 단련할 수 있습니다.
### 한마디로 요약하자면
RLVR은 **'정답에 대한 객관적 검증'을 보상 신호로 사용하여, LLM에게 '인간을 납득시키는 능력'이 아니라 '정답에 논리적으로 도달하는 능력'을 인간의 지도 없이 스스로 획득하게 만드는 학습 패러다임**입니다.
### Discussion
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
44
45
46
47
48
49
50
51
52
53
54
55
56
57
58
59
60
61
62
63
64
65
66
67
68
69
70
71
72
73
74
75
