와인 잔을 쥐는 휴머노이드 손은 8~20밀리초(ms)마다 새로운 동작 추정치가 필요합니다. 그렇지 않으면 잔을 부수거나 떨어뜨리게 됩니다. 동일한 장면을 추론하는 시각-언어 모델(Vision-Language Model)은 100밀리초 정도 걸려도 아무도 눈치채지 못합니다. 올해 출시된 모든 VLA 아키텍처는 논문에서 인정하든 그렇지 않든, 바로 그 간극에 대한 해답입니다.

NVIDIA, Google DeepMind, 그리고 Physical Intelligence는 모두 거의 비슷한 시기에 상용 Vision-Language-Action 모델을 출시했으며, 모두 스스로를 범용 조작 시스템(generalist manipulation systems)이라고 설명합니다. 그리고 이들은 모두 사고(thinking)와 움직임(moving) 사이의 경계를 어디에 둘 것인가에 대해 서로 다른 도박을 했습니다. Isaac GR00T N1.7은 두 개의 서로 다른 클록(clock)에서 실행되는 두 네트워크 사이에 경계를 둡니다. Gemini Robotics 1.5는 언어로 추론한 다음, 행동하고, 다시 추론하는 일련의 모델 계보 내에서 시간적으로 경계를 둡니다. π0.5는 추론과 행동을 하나의 트랜스포머(transformer)로 통합하고, 인계(handoff) 대신 어텐션(attention)이 조율을 수행하게 함으로써 경계를 완전히 제거하려고 시도합니다.

외부에서 보기에는 이 중 어느 것도 명확하지 않습니다. 세 곳 모두의 마케팅은 "범용(generalist)", "교차 체형(cross-embodiment)", "로봇을 위한 파운데이션 모델(foundation model for robots)" 등 비슷하게 들립니다. 실제로 흥미로운 점은 그 이면, 즉 각 팀이 수용한 구체적인 아키텍처 트레이드오프(architectural tradeoff)와 각 모델을 편안한 범위를 벗어나 배포했을 때 무엇이 고장 나는가 하는 점입니다.

시스템 멘탈 모델 (The System Mental Model)

프레임워크별 명칭을 걷어내면, 현재 세대의 모든 VLA는 동일한 추상적 파이프라인으로 축약됩니다.

[

세 시스템이 실제로 의견을 달리하는 지점은 추론(Reasoning)과 행동 디코딩(Action Decoding)이 서로 어떻게 관계를 맺느냐 하는 것입니다. 즉, 별개의 네트워크인지, 하나의 네트워크 내에서 별개의 타임스텝(timestep)인지, 아니면 단일 순전파(forward pass)로 융합되었는지의 차이입니다.

이 세 가지는 모두 대략적으로 동일한 범주에 속합니다. 즉, 느린 의미론적 추론기(slow semantic reasoner)가 빠른 연속 제어기(fast continuous controller)를 조건화하는 구조입니다. 원한다면 이를 '이중 타임스케일 범용 정책 (dual-timescale generalist policy)'이라고 불러도 좋습니다. 논쟁의 핵심은 그 분리가 명확한 모듈 경계(GR00T)인지, 하나의 모델 패밀리 내부의 시간적 인터리빙(temporal interleaving, Gemini)인지, 아니면 단일 트랜스포머(transformer) 내부의 어텐션 마스크 분할(attention-masked partition, π0.5)인지에 관한 것입니다.

기존 스택이 확장(Scale)되지 않는 이유

전통적인 집기 및 배치(pick-and-place) 스택은 작업을 '객체 탐지, 파지 포즈(grasp pose) 계산, 궤적 계획(trajectory plan), 실행, 검증'이라는 명시적인 시퀀스로 인코딩합니다. 이 방식은 모든 단계가 폐쇄된 세계(closed world), 즉 알려진 기하학적 구조, 알려진 빈(bin), 알려진 조명 조건을 가정하는 한 작동합니다. 하지만 로봇이 한 번도 본 적 없는 객체를, 한 번도 매핑된 적 없는 방에서 다뤄야 하는 순간, 그 가정은 우아하게 저하되지 않습니다. 상태 머신에는 '새로운 것(novel)'에 대한 분기(branch)가 없습니다. 상태 머신을 범용 모델에 패치(patch)할 수는 없습니다. 표현(representation) 자체를 교체해야 합니다.

또한 고전적인 스택은 인지(perception)와 행동(action)을 엄격한 인터페이스로 분리합니다. 탐지기(detector)는 경계 상자(bounding box)를 출력하고, 플래너(planner)는 해당 상자들을 그라운드 트루스(ground truth)로 취급합니다. 탐지기가 포착했어야 할 모든 모호성(머그잔인가 컵인가? 절반이 차 있는가?)은 바로 그 지점에서 버려집니다. 반면 VLA 모델은 인지와 행동을 동일한 잠재 공간(latent space)에 유지하여, 모호성이 모듈 경계에서 폐기되는 대신 정책(policy)에 계속 가시적으로 남아 있게 합니다. 이것이 실제 환경에서 VLA의 실패 양상이 기존과 다르게 나타나는 이유 중 하나입니다. 즉, '탐지 실패'가 아니라 '확신에 찬 잘못된 파지(confidently wrong grasp)'로 나타나는 것입니다.

그리고 데이터 문제가 있습니다. 이는 파운데이션 모델 (Foundation models)이 로보틱스 분야에 진입하게 된 근본적인 이유이기도 합니다. 모든 작업 특정 컨트롤러 (task-specific controller)는 자신만의 튜닝 과정을 거쳐야 합니다. 새로운 물체, 새로운 게인 (gains), 새로운 궤적 라이브러리 (trajectory library)가 필요합니다. 이 중 어느 것도 전이 (transfer)되지 않습니다. 파운데이션 모델 기반의 VLA는 이러한 패턴을 깨기 위해 구축되었습니다. 다양한 형태 (embodiments)에 걸쳐 한 번 사전 학습 (pretrain)한 다음, 처음부터 만드는 컨트롤러가 필요로 하는 양보다 훨씬 적은 데이터로 로봇별 미세 조정 (fine-tune)을 수행합니다. 상태 머신 (State machine)은 당신이 프로그래밍한 것만 압니다. VLA는 학습 중에 본 것만 압니다. 둘 다 세상이 보여준 범위를 벗어나면 실패합니다. 차이점은 하나는 요란하게 실패하고, 다른 하나는 그렇지 않은 경향이 있다는 것입니다.

NVIDIA GR00T N1.7: 이중 시스템 분리 (The Dual-System Split)

GR00T N1.7은 NVIDIA가 최초의 GR00T N1 논문 이후 사용해 온 "시스템 1 / 시스템 2 (System 1 / System 2)" 프레임워크를 가장 문자 그대로 구현한 버전입니다. 하나의 네트워크에 덧붙여진 은유가 아니라, 공동 학습 (jointly trained)되며 서로 다른 속도로 실행되는 두 개의 별개 네트워크입니다.

GR00T N1.7 요청 라이프사이클 (The GR00T N1.7 Request Lifecycle)

액션 디코더와 그 중요성 (The Action Decoder and Why It Matters)

시스템 1은 이산적인 액션 토큰 (discrete action tokens)을 예측하는 것이 아닙니다. 이는 플로우 매칭 (flow matching)으로 학습된 디퓨전 트랜스포머 (Diffusion Transformer)이며, VLM 임베딩 (embeddings)과 AdaLayerNorm 타임스텝 조건화 (timestep conditioning)를 통한 현재의 고유 수용 감각 (proprioception)을 조건으로 하여 연속적인 미래 액션 덩어리 (chunk of continuous future actions)를 디노이징 (denoising)합니다. 여기서 간과하기 쉬운 실제 운영상의 함의는 다음과 같습니다. 시스템 1은 자체적인 언어 이해 능력이 없기 때문에, 만약 시스템 2가 오래되었거나 모호한 장면 임베딩(예: 물체의 위치에 대한 2초 전의 정보)을 출력하면, 시스템 1은 확신에 차고 매끄럽지만 완전히 잘못된 궤적을 기꺼이 디노이징해 버립니다. 이러한 실패는 에러 코드가 아니라 지터 (jitter)나 깔끔한 미스로 나타납니다.

대부분의 개발자가 놓치는 신뢰 가정 (The Trust Assumption Most Developers Miss)

두 시스템은 공동으로 학습되지만, 추론(inference) 시에는 업데이트 속도(update-rate)의 불일치를 가진 물리적으로 분리된 프로세스로 실행됩니다. System 2는 대략 100ms마다 갱신되는 반면, System 1은 8~20ms마다 동작합니다. 이 아키텍처는 그 간극 사이에 세상이 의미 있게 변하지 않을 것이라고 암묵적으로 신뢰합니다. 실제로 N1.7에서 추적 가능한 모든 배포 실패 모드는 결국 이 문제로 귀결됩니다. 즉, 빠르게 움직이는 장면(프레임 안으로 걸어 들어오는 사람, 선반에서 미끄러지는 물체 등)이 System 2가 업데이트되기 전에 그 신뢰 시간(trust window)을 위반하는 것입니다.

이 이중 시스템(Dual-System) 접근 방식이 확산된 이유

# 업데이트 속도 분리를 보여주는 단순화된 추론 루프. 
# GR00T의 실제 런타임은 아니지만, 모든 이중 시스템 VLA 배포가 수렴하는 패턴입니다.

...

이는 하나의 거대한 VLM(Vision-Language Model)을 제어 루프(control loop)에 직접 넣었을 때 발생하는 가장 큰 실패 모드인 지연 시간으로 인한 제어 불안정성(latency-induced control instability)을 제거합니다. 클록(clocks)을 분리하는 것이야말로 수십억 개의 파라미터를 가진 추론 백본(reasoning backbone)이 루프에 포함된 상태에서 50~120Hz의 조작(manipulation)을 가능하게 만드는 핵심입니다.

실제 스케일링 제약 사항 (The Real Scaling Constraint)

한계점은 파라미터 수가 아닙니다. NVIDIA는 이미 System 1을 건드리지 않고 System 2의 백본을 한 차례 교체(Eagle에서 Cosmos-Reason2-2B로)한 바 있습니다. 진짜 한계는 인터페이스 그 자체입니다. System 2에서 System 1로 전달되는 고정 차원의 임베딩(fixed-dimensional embedding)은 System 2의 추론이 실제 미세 운동 동작(fine motor behavior)에 얼마나 영향을 미칠 수 있는지를 제한하는 병목 현상(bottleneck)이 됩니다. System 2를 무한히 똑똑하게 만들더라도, 두 시스템 사이의 인터페이스를 재설계하지 않는 한 System 1의 민첩성(dexterity)은 향상되지 않을 것입니다.

Gemini Robotics 1.5: 작업 도중 생각하기 (Thinking Out Loud, Mid-Task)

GR00T가 인지(cognition)를 두 개의 네트워크로 분리하는 반면, Gemini Robotics 1.5는 추론과 행동을 동일한 모델 제품군 내에 유지하되, 공간(space)이 아닌 시간(time) 측면에서 분리합니다. 오케스트레이터(orchestrator) 모델이 자연어로 추론한 다음 행동 모델(action model)로 넘겨주는 방식이며, 이는 명시적인 이중 모델 에이전트 파이프라인(two-model agentic pipeline)임에도 불구하고 마치 하나의 연속적인 사고 과정처럼 느껴지도록 설계되었습니다.

Gemini Robotics 요청 생명주기 (The Gemini Robotics Request Lifecycle)

체화된 사고와 그 중요성 (Embodied Thinking and Why It Matters)

여기서 핵심적인 원시 기제 (primitive)는 인터리빙 (interleaving) 메커니즘 그 자체입니다. VLA 모델은 사용자를 위해서가 아니라, 모델이 다음 동작을 조건화 (condition)할 수 있는 연습장 (scratchpad)으로서 동작 청크 (action chunks) 사이에 내부적인 자연어 추론 흔적 (reasoning trace)을 주기적으로 생성합니다. 이는 기능적으로 실행 전뿐만 아니라 실행 도중에도 적용되는 사고의 사슬 (Chain-of-Thought, CoT)입니다. 여기서 나타나는 명확하지 않은 실제 운영상의 시사점은, 이 방식이 단일 패스 (single-pass) VLA보다 장기적 과제 분해 (long-horizon task decomposition)를 훨씬 더 견고하게 만든다는 것입니다. 왜냐하면 모델이 스스로 생성한 언어를 통해 중간 과정에서 하위 목표 (sub-goal)가 실패했음을 인지하고 재계획 (replan)할 수 있기 때문입니다. 그 대가로 결정 지점마다 지연 시간 (latency)이 추가되지만, Gemini Robotics 1.5는 순수한 반사 속도 (reflex speed)보다 다단계 신뢰성 (multi-step reliability)을 위해 이를 트레이드오프 (tradeoff)로 수용합니다.

대부분의 개발자가 놓치는 신뢰 가정 (The Trust Assumption Most Developers Miss)

오케스트레이터 (orchestrator, GR-ER 1.5)와 액션 모델 (action model, GR 1.5)은 별도로 버전이 관리되고 별도로 배포 가능한 모델이며, 학습된 임베딩 (embedding)이 아닌 자연어를 통해 통신합니다. 이는 로봇이 다음에 무엇을 하기로 "결정"했는지 문자 그대로 읽을 수 있게 하는 의도적인 해석 가능성 (interpretability) 선택이지만, 동시에 시스템의 정확성이 오케스트레이터의 언어 출력이 액션 모델에 의해 충실히 실행 가능한지에 달려 있음을 의미합니다. 만약 오케스트레이터의 계획이 액션 모델이 물리적으로 접지 (ground)하도록 학습되지 않은 개념을 사용한다면, 그 실패는 말한 내용과 시도한 내용 사이의 소리 없는 불일치로 나타납니다.

Google이 이 모델에 베팅한 이유 (Why Google Bet on This Model)

Google의 조직적 추론 방식은 자사의 인프라를 따릅니다. Gemini는 이미 로보틱스 이외의 제품에 서비스되고 있는 범용 멀티모달 추론기 (multimodal reasoner)이므로, 오케스트레이터 (orchestrator)를 로보틱스 전용의 맞춤형 네트워크로 구축하는 대신 동일한 계보의 확장으로 구축함으로써 로보틱스가 Gemini 자체에 적용된 모든 일반 추론 (general-reasoning) 개선 사항을 물려받을 수 있게 합니다. Motion Transfer 메커니즘은 여기서 파생된 기술적 베팅입니다. 공유된 오케스트레이터가 액션 레이어 (action layer)에 도달하기 전에 작업 표현 (task representation)을 이미 정규화하기 때문에, 이질적인 멀티-엠보디먼트 (multi-embodiment) 시연 데이터를 하나의 액션 모델로 통합할 수 있으며, 이는 모든 VLA를 제한하는 교차-엠보디먼트 (cross-embodiment) 데이터 부족 문제를 직접적으로 해결합니다.

실제 스케일링 제약 사항 (The Real Scaling Constraint)

한계점은 의사결정 시점의 지연 시간 (latency)입니다. 모든 교차된 추론 단계는 다음 액션 청크 (action chunk)가 대기열에 들어가기도 전에 대규모 멀티모달 모델을 통과하는 순전파 (forward pass) 과정을 거칩니다. 이는 신중한 조작 (deliberate manipulation)에는 괜찮지만, 50ms 미만의 반사 신경이 필요한 작업에는 최악입니다. 떨어지는 물체를 잡는 작업이 목적이라면 Gemini Robotics로 제어되는 팔은 당신이 선택할 아키텍처가 아닙니다.

π0.5: 단일 트랜스포머, 핸드오프(Handoff)가 전혀 없음

π0.5는 위 두 방식과 정반대의 시작 지점을 취합니다. 즉, 추론 (reasoning)과 액션 (action)이 별개의 네트워크나 심지어 별개의 타임스텝 (timestep)에 존재할 필요가 전혀 없다는 것입니다. 이는 PaliGemma 비전-언어 백본 (vision-language backbone)에서 확장된 단일 트랜스포머 (single transformer)이며, 두 번째 가중치 세트 (액션 전문가, Action Expert)가 셀프 어텐션 (self-attention)의 하류 (downstream)에 위치하는 대신 동일한 셀프 어텐션을 공유합니다.

π0.5 요청 라이프사이클 (The π0.5 Request Lifecycle)

액션 전문가와 그것이 중요한 이유 (The Action Expert and Why It Matters)