1조 파라미터 RL 논문은 사실 모델이 워크플로우를 찾게 하는 것에 관한 것이다

새로운 arXiv 논문인 _Ring-Zero: Scaling Zero RL to a Trillion Parameters for Emergent Reasoning_는 인간이 작성한 사고의 사슬 (Chain-of-Thought, CoT) 예시 없이, 검증 가능한 보상 (Verifiable Rewards)을 통한 강화학습 (Reinforcement Learning, RL)으로 훈련된 1T-파라미터 전문가 혼합 (Mixture-of-Experts, MoE) 추론 모델을 보고합니다.

헤드라인 숫자는 눈에 띄기 쉽습니다. 1단계 RL 모델은 지도 학습 기반의 추론 데이터셋이 아닌 사전 훈련된 베이스 모델 (Pretrained Base Model)에서 시작하여, 64회 실행 평균 AIME 2026에서 84.2%의 pass@1을 달성했습니다. 이후 단계가 지나면 보고된 수치는 여러 수학 벤치마크에서 90% 초반대까지 상승합니다.

하지만 제가 관심을 갖는 부분은 더 작고 유용한 것입니다. 이 논문은 많은 "추론 엔지니어링 (Reasoning Engineering)"이 수기로 작성된 행동에서 훈련 역학 (Training Dynamics)으로 이동하고 있다는 또 다른 신호입니다.

사라지는 것이 아니라, 이동하고 있는 것입니다.

이 논문이 실제로 수행한 것

설정은 제로 RL (Zero RL)입니다. 즉, 모델에게 먼저 정제된 인간의 추론 흔적 (Reasoning Traces)을 보여주지 않습니다. 모델은 검증 가능한 정답이 있는 과제를 받고, 시도(attempts)를 생성하며, 정답 여부와 더불어 예상된 답변 구조에 맞춰 작업 내용을 작성했을 때 주어지는 포맷팅 보상 (Formatting Reward)을 기반으로 보상을 받습니다.

저자들은 두 개의 베이스 모델을 훈련했습니다: 7.4B의 활성 파라미터(Active Parameters)를 가진 104B-파라미터 MoE, 그리고 63B의 활성 파라미터를 가진 1T-파라미터 MoE입니다. 훈련에는 320개의 H200 GPU, 훈련을 위한 Megatron, 롤아웃 (Rollout)을 위한 SGLang, 그리고 RL 루프를 조율하기 위한 Areal 프레임워크가 사용되었습니다.

파이프라인은 대략 네 단계로 구성됩니다:

1. 추론을 유도하기 위한 1단계 RL,
2. 유용한 흔적을 압축하고 안정화하기 위한 자기 증류 (Self-distillation),
3. 최적화를 안정적으로 유지하기 위한 샘플 수준 손실 (Sample-level Loss)을 포함한 2단계 RL,
4. 모델이 4k, 16k 또는 64k 토큰 예산 하에서 다르게 추론할 수 있도록 하는 계층적 훈련 (Tiered Training).

그 마지막 부분이 중요합니다. 많은 장기 추론 (long-reasoning) 연구들은 "더 많은 생각"이 항상 더 낫다는 것을 암묵적으로 가정합니다. 하지만 실제 서비스 환경 (production)에서 더 많은 생각은 곧 비용입니다. 이 논문이 제시하는 저/중/고 추론 모드 (low/medium/high inference modes)는 매우 유용한 프레임워크입니다. 모델은 어떤 문제가 20k 토큰을 소모할 가치가 있는지, 그리고 어떤 문제가 2k 토큰이면 충분한지를 학습해야 합니다.

저는 모든 프롬프트를 퍼트남 문제 (Putnam problem)처럼 취급하는 모델보다는, 그런 조절 가능한 노브 (knob)를 갖춘 모델을 선호합니다.

흥미로운 주장은 단순히 "규모가 클수록 좋다"는 것이 아니다

이 논문은 일반적인 규모 (scale)에 관한 논거를 제시합니다. 1T 모델은 104B 모델보다 훨씬 더 샘플 효율적 (sample-efficient)이며 더 높은 한계치 (ceiling)에 도달합니다. 이는 비용이 많이 드는 증거이긴 하지만, 놀라운 일은 아닙니다.

더 흥미로운 주장은 학습의 형태 (shape of learning)에 관한 것입니다.

저자들은 훈련을 두 단계로 설명합니다: 첫 번째는 발견 (discovery), 두 번째는 정교화 (sharpening)입니다. 초기 강화학습 (RL)은 새로운 추론 행동 (reasoning behaviors)을 열어줍니다. 이후의 강화학습 (RL)은 새롭게 발견된 공간 내부에서 정책 (policy)을 정교하게 다듬습니다.

이는 많은 에이전트 빌더 (agent builders)들이 워크플로우 (workflow) 수준에서 목격하는 것과 일치합니다. 초기 반복 (iteration)은 무질서한 탐색 (messy search)입니다. 변동성 (variance), 기이한 시도, 심지어 약간의 낭비도 필요합니다. 일단 시스템이 유용한 패턴을 찾으면, 참신함 (novelty)에 대한 보상을 멈추고 루프를 조여나가기 시작합니다.

첫 번째 단계를 건너뛰면 세련된 평범함 (polished mediocrity)을 얻게 됩니다. 만약 그 단계에 머물러 있다면, 값비싼 혼돈 (expensive chaos)을 얻게 될 것입니다. Lyra는 아마 키보드 위에 누워 있는 방식으로 그 트레이드오프 (tradeoff)를 수행할 수 있겠지만, 저는 여전히 지표 (metric)를 선호합니다.

"창발적 행동 (emergent behaviors)"이 실질적인 부분이다

논문은 훈련 과정에서 나타난 몇 가지 행동을 나열합니다: 구조화된 포맷팅 (structured formatting), 자기 검증 (self-verification), 병렬 추론 (parallel reasoning), 의인화된 추론 흔적 (anthropomorphic reasoning traces), 그리고 모델이 컨텍스트 (context)를 사용하거나 보존하는 데 신중해지는 "컨텍스트 불안 (context anxiety)" 등이 있습니다.

이러한 라벨 중 일부는 어색합니다. 저는 이것들에 대해 신비주의적으로 접근할 필요는 없다고 생각합니다. 하지만 그 메커니즘은 주목할 가치가 있습니다.

수년 동안, 많은 추론 시스템들은 우리가 원하는 행동을 명시적으로 규정함으로써 구축되어 왔습니다:

• 문제를 분해하고 (decompose the problem),
• 답을 확인하며 (check your answer),
• 다른 경로를 고려하고 (consider another path),
• 컨텍스트를 체계적으로 유지하며 (keep the context organized),
• 답이 충분히 만족스러우면 멈추는 것 (stop when the answer is good enough).

이것들은 유용한 스캐폴딩 (scaffolds)입니다. 저 또한 스캐폴딩을 끊임없이 사용합니다. 이 논문이 주는 불편한 제안은, 충분한 규모 (scale)와 적절한 보상 형태 (reward shape)가 갖춰진다면, 일부 스캐폴딩은 프롬프트의 산물 (prompt artifacts)이 아닌 학습의 산물 (training artifacts)이 된다는 것입니다.

그렇다고 해서 프롬프트가 더 이상 중요하지 않다는 뜻은 아닙니다. 프롬프트가 행동을 보조하는 의족 (behavioral prosthetic)의 역할에서 인터페이스 계약 (interface contract)의 역할로 변화한다는 것을 의미합니다.

이는 더 나은 방향입니다.

주의사항: 검증 가능한 도메인 (verifiable domains)이 많은 역할을 수행하고 있다

수학 벤치마크 (Math benchmarks)는 정답 여부를 확인할 수 있기 때문에 이러한 실험을 수행하기에 좋은 장소입니다. 논문에서도 답의 형식이 더 복잡해지는 어려운 사례의 경우 LLM-as-judge 설정으로 넘어가지만, 핵심적인 장점은 여전히 유지됩니다: 즉, 보상 (reward)이 붙잡을 수 있는 무언가가 있다는 점입니다.

대부분의 개발 작업은 이와 같지 않습니다.

코드 변경 사항이 테스트를 통과하더라도 잘못된 추상화 (abstraction)일 수 있습니다. 데이터 파이프라인 (data pipeline)이 유효한 JSON을 생성하면서도, 다운스트림 작업 (downstream job)에 필요한 단 하나의 필드를 조용히 누락시킬 수도 있습니다. 에이전트 (agent)가 실행 지침 (runbook)을 따르더라도, 그 지침이 오래되어 한 시간을 허비할 수도 있습니다.

따라서 교훈은 "RL이 추론 (reasoning) 문제를 완전히 해결했다"가 아닙니다. 교훈은 더 좁은 범위입니다: 속이기 어려운 보상 (reward)을 정의할 수 있다면, 규모 (scale)를 통해 과거에 수동으로 작성했던 행동들을 발견해낼 수 있다는 것입니다.

이것은 여전히 매우 중대한 일입니다.

또한 이는 실용적인 에이전트 (practical agents)를 구축할 때 발생하는 병목 현상을 시사합니다. 어려운 점은 종종 모델을 선택하는 것이 아닙니다. 좋은 작업이 관찰될 수 있는 환경을 구축하는 것입니다: 테스트 (tests), 트레이스 (traces), 평가 (evals), 상태 스냅샷 (state snapshots), 롤백 경로 (rollback paths), 비용 예산 (cost budgets), 그리고 무슨 일이 일어났는지 설명할 수 있을 만큼 충분히 상세한 지루한 로그 (logs) 등이 그것입니다.

화려함은 1T 모델에 있지만, 레버리지 (leverage)는 하네스 (harness)에 있습니다.

빌더로서 제가 여기서 얻고자 하는 것

첫째, 오늘날의 프롬프트 트릭 (prompt tricks)에 여러분의 워크플로우 (workflow)를 과적합 (overfit)시키지 마십시오. 특정 동작이 가치 있다면, 그것이 프롬프트 (prompt), 하네스 (harness), 평가 (eval), 또는 학습 루프 (training loop) 중 어디에 속해야 하는지 자문해 보십시오. 프롬프팅 (Prompting)은 시작하기에 가장 빠른 방법이지만, 항상 머물러야 하는 올바른 장소는 아닙니다.

둘째, 예산 인지적 추론 (budget-aware reasoning)이 중요해질 것입니다. 저는 매번 지시받지 않아도 "저렴하면서도 충분히 괜찮은" 방식을 선택할 수 있는 에이전트 (agents)를 원합니다. 논문의 계층적 추론 (tiered inference) 설정은 매우 일반적인 엔지니어링 요구 사항의 연구 버전입니다. 즉, 템플릿이 지시하는 곳이 아니라 불확실성이 높은 곳에 토큰 (tokens)을 소비하는 것입니다.

셋째, 가장 강력한 시스템은 거대한 프롬프트 (prompts)보다는 긴밀한 피드백 루프 (feedback loops)에 더 가까운 형태를 띨 것입니다. 모델에게 과업을 부여하고, 시도하게 하며, 결과를 측정하고, 유용한 흔적 (traces)을 보존하여, 다음 시도가 더 저렴하거나 더 신뢰할 수 있도록 만드십시오.

이것은 "모델이 생각하는 법을 배웠다"는 말처럼 영화적이지는 않습니다. 하지만 유용한 소프트웨어가 구축되는 방식에 더 가깝습니다.

Ring-Zero 논문은 규모의 경계를 확장한다는 점에서 읽어볼 가치가 있습니다. 하지만 일상적인 교훈은 더 작습니다. 보상 (reward)이 명확하다면, 모든 인지적 움직임을 일일이 손으로 작성하는 것을 멈추십시오. 모델이 그중 일부를 스스로 발견할 수 있게 하는 루프 (loop)를 구축하십시오.

그러고 나서 청구서를 확인하십시오.