2026년 7월 17일, NVIDIA는 공식 블로그를 통해 AI의 계산 수요 중심이 사전 학습(Pre-training)에서 **끝나지 않는 포스트 트레이닝(Post-training)**으로 이동했다고 선언했다. 근거로 제시된 것은 550B 파라미터 MoE인 Nemotron 3 Ultra를 뒷받침한 약 120만 회의 RL 롤아웃(Rollout)과, 차세대 플랫폼 Vera Rubin이라면 동일한 작업에 필요한 GPU가 Blackwell 세대의 4분의 1로 충분하다는 수치다.

즉, 이런 의미다. GPU당 효율은 4배가 되지만, NVIDIA는 계산 수요가 줄어든다고 말하지 않는다. 오히려 학습이 '단 한 번의 마무리'에서 '실전 운용과 일체화된 무한 루프'로 변하기 때문에, 총수요는 오히려 늘어날 것이라고 주장하고 있다. 이 기사에서는 그 주장의 내용을 1차 소스(Primary Source)를 바탕으로 메커니즘 레벨에서 분해한다.

7월 17일 NVIDIA 공식 블로그 기사 「NVIDIA Vera Rubin Maximizes Intelligence per Dollar for Post-Training Workloads」(저자: Kirthi Develeker)는 겉으로는 Vera Rubin 플랫폼의 홍보 기사다. 하지만 자세히 읽어보면 AI 학습 워크로드(Workload)의 정의를 다시 쓰는 세 가지 주장이 담겨 있다.

• 에이전트 시대의 중심 워크로드는 사전 학습이 아니라 **에이전틱 포스트 트레이닝(Agentic Post-training)**이다.
• 그 효율을 측정하는 새로운 지표는 토큰 단가가 아니라 Intelligence per Dollar이다.
• 포스트 트레이닝은 단 한 번이 아니라, 실전 환경에서 문제가 환류되는 멈추지 않는 사이클이다.

기사 중의 선언은 다음과 같다.

A model is no longer asked for an answer. It's given a goal and has to keep adapting as environments shift.

(모델은 더 이상 정답을 요구받지 않는다. 목표를 부여받으며, 환경이 변화함에 따라 계속해서 적응해야 한다.)

이는 사상의 문제가 아니라 계산 패턴의 문제다. 정답을 한 번 내놓는 모델과, 목표를 향해 계속해서 시도하는 에이전트(Agent)는 학습에 필요한 계산의 형태가 근본적으로 다르다.

7월 1일에 NVIDIA Technical Blog가 공개한 해설 「Mastering Agentic Techniques: AI Agent Reinforcement Learning」이 이 루프의 내부 구조를 구체적으로 정의하고 있다. 구성 요소는 7가지다.

• 정책 모델 (Policy Model): 훈련 대상인 모델 본체
• 태스크 (Task): 입력이 되는 프롬프트(Prompt) 군
• 액션 (Action): 모델의 출력 또는 도구 호출
• 환경 (Environment): 액션을 실제로 실행하고 피드백을 반환
• 검증기 (Verifier): 성공 여부를 스코어화하고 보상(Reward)을 생성
• 롤아웃 (Rollout): 샘플링된 시도의 기록
• 정책 업데이트 (Policy Update): 좋은 출력의 확률을 높이는 학습 단계

알고리즘의 핵심으로 꼽히는 것은 GRPO (Group Relative Policy Optimization)이다. GRPO는 하나의 프롬프트에 대해 여러 개의 완료본을 생성하고, 검증기로 스코어화하며, 그룹 내의 상대적인 성능으로 모델을 업데이트한다. 가치 함수 모델(Value Function Model)을 별도로 훈련하는 PPO에 비해, 상대적 비교만으로 보상 신호를 만들 수 있다는 것이 장점이며, 파생 기술로서 DAPO (Dynamic Sampling)나 GSPO (Group Sequential Policy Optimization)도 소개되고 있다.

그리고 이 루프를 산업화하는 것이 NeMo Gym과 NeMo RL이다. NeMo Gym의 '환경'은 다음의 4가지 세트로 정의된다.

• 데이터셋
• 에이전트 하네스 (Agent Harness, 도구 및 샌드박스를 포함한 실행계)
• 검증기
• 가변적인 태스크 상태

중요한 점은, 이 동일한 환경 세트가 평가(Evaluation)에도, 오케스트레이션(Orchestration) 조정에도, RL의 보상 생성에도 재사용될 수 있다는 설계다. 평가 기반과 학습 기반이 동일한 부품으로 구성되어 있기 때문에, 실전에서 발견된 실패 케이스를 그대로 다음 RL 사이클의 환경으로 환류할 수 있다. NVIDIA는 이를 포스트 트레이닝을 '일회성 연구 코드가 아닌 재현 가능한 인프라'로 바꾸는 움직임이라고 규정하고 있다.

주장을 뒷받침하는 구체적인 수치를 두 개의 1차 소스에서 추출하여 나열한다.

지엽적이지만 본질적인 것은 Perplexity의 「2초 미만」이다. 에이전틱 RL (Agentic RL)에서는 롤아웃 (Rollout) 생성을 담당하는 추론 측 모델과, 그래디언트 업데이트 (Gradient Update)를 받는 학습 측 모델의 가중치 (Weights)를 빈번하게 동기화해야 한다. 1조 파라미터급 모델에서 동기화에 몇 분씩 걸린다면, 루프의 회전수는 거기서 한계에 부딪힌다. NVIDIA는 가중치 전송이 크리티컬 패스 (Critical Path)라는 점을 하드웨어의 셀링 포인트 (Selling Point)로 인정한 셈이다.

NVIDIA가 제시한 새로운 지표의 정의는 기사 속에서 질문의 형태로 주어져 있다. "서비스할 가치가 있는 모델을 구축하고, 환경이 계속 변하더라도 그 가치를 유지하려면 비용이 얼마나 드는가"라는 질문이다. 기존 지표와의 대비는 다음과 같이 기술되어 있다.

Cost per token measures operating yield; intelligence per dollar measures whether the investment in model intelligence is paying off.

(토큰 단가는 운용의 수율을 측정한다. Intelligence per Dollar는 모델의 지능에 대한 투자가 보상받고 있는지를 측정한다.)

토큰 단가는 「현재 있는 모델을 구동하는 비용」의 지표이며, 추론 공장의 효율화로 낮아진다. 반면 Intelligence per Dollar는 「모델을 계속 똑똑하게 만드는 비용」의 지표로, 롤아웃 생성, 검증, 그래디언트 업데이트, 가중치 동기화라는 학습 루프 전체의 효율에 의해 결정된다. 사전 학습 (Pre-training) 시대에는 이 두 가지를 나누어 생각할 필요가 적었다. 학습은 단 한 번의 자본 지출(CAPEX)이었고, 추론은 운영 비용(OPEX)이었기 때문이다. 포스트 트레이닝 (Post-training)이 멈추지 않는 루프가 되면, 학습은 운영 비용 측으로 이동한다. 이것이 「AI 경제의 회계 방식이 바뀐다」는 이야기의 핵심이다.

「포스트 트레이닝에서 RL을 사용한다」는 것만 놓고 보면 2022년 RLHF 이후의 이야기로, 새로울 것이 없다. 변한 점은 세 가지다.

첫째, 보상의 출처. RLHF의 보상은 인간의 선호도를 학습한 보상 모델 (Reward Model)이었으나, 에이전틱 RL의 보상은 환경 내의 검증기 (Verifier)가 생성한다. 코드라면 테스트를 통과하는지, 태스크라면 상태가 목표에 도달했는지 여부다. 검증 가능한 보상 (Verifiable Rewards)으로의 전환을 통해, 수작업 라벨링이 병목 현상에서 벗어났다.

둘째, 실행의 무게. RLHF의 롤아웃은 텍스트 생성 1회였으나, 에이전트의 롤아웃은 도구 호출 (Tool Call)과 샌드박스 (Sandbox) 실행을 포함하는 1만 토큰급의 궤적 (Trajectory)이다. 120만 개면 약 200억 토큰에 달한다. 롤아웃 생성은 사실상 실제 서비스와 동일한 추론 워크로드 (Inference Workload)이며, 학습 클러스터 안에 추론 공장이 들어오게 된다.

셋째, 끝나지 않는다는 점. NVIDIA의 기사는 포스트 트레이닝 루프가 실제 서비스에서 새로운 문제가 발생할 때마다 다시 돌아온다고 명시하고 있다. 모델은 출시하면 끝나는 결과물이 아니라, 환경 변화에 맞춰 계속 재훈련되는 운영 대상이 된다.

이 발표를 그대로 믿기 전에, 감안해야 할 점들을 적어둔다.

NVIDIA는 GPU 판매업자이다. 「학습은 영원히 끝나지 않는다」는 서사는 「GPU 수요는 영원히 지속된다」는 서사와 같다. Vera Rubin의 「4분의 1」이나 「1개월 만에 10조 파라미터」도 NVIDIA 자체의 전망 (Projection)일 뿐이며, 제3자에 의한 실측치는 아직 존재하지 않는다. Blackwell 때도 발표 당시의 성능 계수와 실제 운용 계수 사이에는 괴리가 있었다.

"Intelligence"의 측정은 벤치마크에 의존한다. Intelligence per Dollar의 분자는 결국 SWE-bench와 같은 벤치마크 점수로 대리된다. 벤치마크가 포화되거나 오염되면 지표 자체가 무너진다. 검증기로 훈련한 모델을 다시 검증기로 측정하는 구조는, 보상 해킹 (Reward Hacking)과 평가 해킹 (Evaluation Hacking)이 맞닿아 있는 위험성을 내포한다. NVIDIA 스스로도 RL 설계의 출발점으로 다음 질문을 제시하고 있다.

Start with: 'What behavior do I want to increase, and how will I measure it?'

(먼저 이렇게 물어라. 「어떤 행동을 늘리고 싶은가, 그리고 그것을 어떻게 측정할 것인가?」)

뒤집어 말하면, 측정 방법을 잘못 설정할 경우 늘어나는 것은 잘못된 행동이다. 21개의 검증기 (Verifier) × 37개의 데이터셋이라는 규모는, 보상 설계 (Reward Design)의 실패가 21곳에서 발생할 수 있다는 의미이기도 하다.

멈추지 않는 학습은 거버넌스 (Governance)의 악몽이 될 수 있다. 실서비스(Production)로부터의 피드백으로 매주 가중치 (Weight)가 변하는 모델은, 어느 시점의 동작을 감사(Audit)해야 하는가. EU나 중국에서 에이전트 규제가 움직이기 시작한 2026년에, "지난주의 모델과 이번 주의 모델은 별개의 것입니다"라는 운영 방식은 컴플라이언스 (Compliance) 측면에서 보면 미해결 과제다.

경쟁 실리콘과의 비교가 없다. 기사는 Blackwell 세대와의 비교만을 다루고 있으며, Google의 TPU나 AWS의 Trainium에 대한 Intelligence per Dollar는 제시되지 않았다. 지표를 제창한 당사자가 자사 비교에만 사용하고 있는 단계에서는, 이를 업계 표준 지표라고 부르기에는 이르다.

그럼에도 불구하고, 이 발표가 가리키는 방향은 무시할 수 없다. NVIDIA가 그리는 포스트 트레이닝 (Post-training) 중심의 세계에서는 다음과 같은 일이 일어난다.

학습 클러스터와 추론 클러스터의 구분이 모호해진다. 롤아웃 (Rollout) 생성은 추론 그 자체이며, 가중치 동기화가 2초 미만이라면 동일한 플릿 (Fleet)이 낮에는 실서비스 트래픽을, 밤에는 RL 롤아웃을 처리하는 구성이 현실적이 된다. 데이터 센터의 설계 단위는 "학습용", "추론용"이 아니라, 포워드 패스 (Forward Pass)와 백워드 패스 (Backward Pass)의 비율을 동적으로 바꿀 수 있는 혼합 공장이 되어갈 것이다.

모델은 소프트웨어 제품에서 운영 서비스로 완전히 이행한다. 실서비스에서의 실패가 환경으로서 환류(Feedback)되어 다음 주의 모델을 만든다. 이는 머신러닝 (Machine Learning) 세계에서 오랫동안 이야기되어 온 지속 학습 (Continual Learning)의 산업 버전이며, NVIDIA는 이를 알고리즘이 아닌 인프라 (Infrastructure)의 문제로서 해결하러 왔다. 5년 뒤에 모델의 버전 번호가 의미를 잃고, "오늘의 모델"이라고밖에 부를 수 없게 되어도 놀라운 일은 아니다.

자본 배분의 지표가 바뀐다. 사전 학습 (Pre-training) 시대의 AI 투자는 "단 한 번의 거대한 도박"이었지만, Intelligence per Dollar적인 세계에서는 "회전율의 승부"가 된다. 동일한 100억 엔으로 루프를 몇 바퀴 돌릴 수 있는가. 이는 스타트업에게는 희소식일 수도 있다. 거대한 사전 학습에 참여할 수 없더라도, 좋은 검증기와 좋은 환경을 가진 팀은 작은 모델을 특정 도메인에서 계속 돌림으로써 싸울 수 있다. NeMo Gym과 같은 환경 인프라가 오픈하게 정비될수록, 경쟁의 초점은 GPU 보유량에서 검증기 설계 능력으로 옮겨간다.

• NVIDIA는 7월 17일 블로그에서 AI의 핵심 워크로드 (Workload)를 에이전틱 포스트 트레이닝 (Agentic Post-training)으로 정의하고, 새로운 지표인 Intelligence per Dollar를 제창했다.
• 실례인 Nemotron 3에서는 21개의 검증기 × 37개의 데이터셋 환경에서 약 120만 롤아웃(약 200억 토큰)을 생성하였으며, 550B MoE인 Ultra가 SWE-bench 71.7%에 도달했다.
• RL 루프는 정책 (Policy) · 태스크 (Task) · 액션 (Action) · 환경 (Environment) · 검증기 (Verifier) · 롤아웃 (Rollout) · 업데이트 (Update)의 7개 구성 요소로 이루어지며, GRPO 계열 알고리즘과 NeMo Gym/NeMo RL을 통해 산업화가 진행된다.
• Vera Rubin은 Blackwell 대비 4분의 1의 GPU로 최대 규모의 모델을 훈련할 수 있다고 하지만, 이 수치는 벤더 자체의 전망 (Projection)이며 제3자 검증은 앞으로 남아 있다.
• 학습이 끝나지 않는 루프가 될 때, 병목 현상 (Bottleneck)은 GPU에서 검증기 설계 능력과 계속해서 변하는 모델을 감사하는 거버넌스로 이동한다.

NVIDIA Vera Rubin Maximizes Intelligence per Dollar for Post-Training Workloads (NVIDIA 공식 블로그, 2026-07-17)

Mastering Agentic Techniques: AI Agent Reinforcement Learning (NVIDIA Technical Blog, 2026-07-01)

NVIDIA Vera Rubin Maximizes Intelligence per Dollar for Post-Training Workloads (HPCwire 전재)