RL(강화학습, Reinforcement Learning)로 학습된 추론 모델이 수학 문제에서 Instruction-tuned(지시어 튜닝) 모델보다 뛰어나다는 사실은 모두가 알고 있습니다. DeepSeek-Instruct보다 DeepSeek-R1이, GPT-4보다 o1이 더 뛰어납니다. 이 시점에서 이는 RL이 추론에 더 효과적이라는 기정사실로 받아들여지고 있습니다.

하지만 거의 아무도 더 흥미로운 질문을 던지지 않습니다: 바로 '왜(WHY)'입니다. 동일한 베이스 모델(Base model), 동일한 파라미터 수(Parameter count), 동일한 데이터 도메인(Data domain)을 사용합니다. 단지 그 위에 적용된 학습 레시피(Training recipe)가 다를 뿐입니다. 그렇다면 RL은 내부적으로 실제로 무엇을 다르게 하여 모델이 더 잘 추론하게 만드는 것일까요?

새로운 논문은 추측을 멈추고 실제로 블랙박스(Black box)를 열어보기로 했습니다. 그리고 그들이 발견한 것은 단순히 "RL이 더 강력하게 최적화한다"는 것보다 더 기이하고 흥미로운 것이었습니다.

그들은 이 모델들의 내부 구조에 대해 세 가지 별도의 조사(Probe)를 수행했습니다. 은닉 상태(Hidden states)에 대한 선형 프로빙(Linear probing, 모델이 정확히 어느 레이어에서 정답을 맞혔다고 "아는지" 확인), 레이어 어블레이션(Layer ablation, 어떤 레이어가 최종 정답에 실제로 중요한지 확인), 그리고 반복된 샘플에 대한 토큰 가변성 분석(Token-variability analysis, 각 모델이 문제 전반에 걸쳐 "사고 예산(Thinking budget)"을 얼마나 일관되게 할당하는지 확인)을 실시했습니다.

첫 번째 결과가 가장 중요합니다: RL 학습은 단순히 모델이 더 열심히 노력하게 만드는 것이 아닙니다. 그것은 모델의 전체 내부 아키텍처(Internal architecture)를 재구조화합니다.

RL로 학습된 모델(DeepSeek-Math-RL)의 경우, 깊은 레이어(Deeper layers)가 최종 정답에 점점 더 중요해집니다. 레이어 깊이와 해당 레이어의 중요도 사이에는 통계적으로 유의미한 상관관계(r=0.47, p<0.01)가 존재합니다. 모델이 계층 구조(Hierarchy)를 구축하고 있는 것입니다. 초기 레이어는 가벼운 작업을 수행하고, 깊은 레이어는 핵심적인 역할(Heavy lifting)을 수행합니다.

정확히 동일한 베이스 모델의 Instruction-tuned 버전(DeepSeek-Math-Instruct)에서는 그 패턴이... 사라져 버립니다. 레이어 중요도가 평탄합니다(r=-0.11). 어떤 레이어도 다른 레이어보다 의미 있게 더 중요하지 않습니다. 추론 능력이 필요한 곳에 집중되는 대신 전체 네트워크에 고르게 퍼져 있습니다.

시작할 때의 가중치(Weights)는 동일했습니다. 아키텍처도 동일했습니다. 모델 학습을 어떻게 마무리하느냐에 따라 완전히 다른 두 가지 내부 추론 전략이 나타난 것입니다.

다음으로 연구진은 컴퓨팅 일관성(compute consistency)을 살펴보았습니다. 이는 모델의 '사고 길이(thinking length)'가 유사한 난이도의 문제 전반에 걸쳐 얼마나 안정적인지를 측정하는 것입니다. 여기서 상황은 더 복잡해지며, 솔직히 말해서 대부분 논문보다 더 정직합니다: DeepSeek-Math-RL은 매우 불안정하여, 특히 40~60%의 난이도 구간에서 변동성이 가장 크게 치솟으며, 쉬운 문제와 어려운 극한 구간에서도 높은 수준을 유지했습니다. 반면, DeepSeek-Math-Instruct는 전반적으로 낮고 안정적인 수치를 보였습니다.

듣기에는 'RL = 더 많은 변동성, SFT = 더 안정적'이라는 결론이 내려진 것 같습니다. 모든 것이 끝난 것처럼 보입니다. 하지만 연구진은 두 번째 모델군인 Olmo-3을 확인했고, 그 패턴은 완전히 깨집니다. Olmo-3-Thinking (RL)과 Olmo-3-Instruct (SFT) 모두 서로 다른 방법으로 훈련되었음에도 불구하고, 낮고 일관적이며 거의 동일한 변동성 프로파일을 유지했습니다.

따라서 'RL이 불안정한 토큰 할당을 유발한다'는 이론은 실제로 일반화되어 성립하지 않습니다. 핵심은 RL 사용 여부 자체가 아니라 전체 훈련 파이프라인, 즉 RL이 실제로 어떻게 실행되었는지에 달려 있습니다. 이는 모두가 가정하는 깔끔한 서사보다 훨씬 더 신중하고 흥미로운 결론입니다.

이것이 학문적 호기심을 넘어 왜 중요한지 설명드리겠습니다: 현재 추론 모델을 구축하는 거의 모든 사람들은 '경험적으로 작동하기 때문에' RL을 문제에 적용하고 있습니다. 하지만 그 이유에 대한 실제 메커니즘 이론은 없습니다. 이 논문은 RL이 단순히 더 나은 최적화 도구가 아님을 구체적으로 보여준 최초의 연구 중 하나입니다. 오히려 RL이 네트워크의 어느 부분이 추론 책임을 맡게 할지 능동적으로 재구성하며, 정확성을 네트워크 초반부에 더욱 선형적으로 디코드 가능하게 만들고, 이 모든 것을 모델군 전반에 걸쳐 균일하지 않은 방식으로 수행한다는 것입니다.

우리는 이제 'RL이 추론에 도움이 되는가?'라는 질문을 넘어, '작동할 때 RL이 실제로 모델 내부에 무엇을 구축하고 있는가?'라는 질문을 할 수 있는 단계에 이르렀습니다. 그리고 적어도 여기서는 그 답은 다음과 같습니다: SFT만으로는 스스로 구축하는 법을 배우지 못하는 계층적 구조(hierarchy)입니다.

논문은 댓글에서 확인하세요
[image: https://pbs.twimg.com/media/HOdFtZ_bIAAu9mf.jpg