Gemini 4 Argon은 물리적 이해(physical understanding), 코드 생성(code generation), 시각-의미 추론(visual-semantic reasoning)에서 큰 변화를 가져오며, 로보틱스 스택 전반에 걸쳐 새로운 워크플로우를 열고 물리적 AGI(Artificial General Intelligence)로의 진전을 가속화합니다.
이러한 능력의 도약은 모델이 3D 환경에서 물리적이고 공간적인 문제를 이해하고 해결하는 능력을 테스트하는 Embodied Reasoning (ERQA) 벤치마크에서 확인할 수 있습니다. 순수 추론(pure reasoning)만으로 Argon은 87%를 기록하며, 다른 모든 최첨단 모델을 능가했습니다.
범용 물리 추론 모델인 Argon은 전체 로보틱스 라이프사이클에 걸쳐 적용될 수 있습니다. 본 게시물에서는 네 가지 주요 영역에 걸친 Argon의 대표적인 프롬프트들을 공유합니다:
Argon은 Boston Dynamics Spot® 사족 보행 로봇(12-DoF 다리 + 6-DoF 팔)을 제어하여 새로운 기술, 즉 발판 쓰레기통 위를 밟아 탄산음료 캔을 버리는 방법을 학습하게 합니다. Argon은 발판 쓰레기통의 관절화된 MuJoCo 디지털 트윈(digital twin)을 생성하여 물리적 페달을 밟고 캔을 열린 통에 떨어뜨리기 전에 움직임을 연습합니다.
프롬프트:
There's a Diet Coke can behind you and another on the black table on your left.
Use the spot-mobile-manipulation skill to pick them up and trash them in the black foot-pedal bin.
Before stepping down on the pedal, verify in the front cameras that your front-right foot target is centered on the pedal, and use a 2-agent verification swarm (foot-verifier and hand-verifier) to verify both the foot-pedal step and the 3D hand-in-bin alignment before releasing.
Argon은 간단한 로봇 팔을 제어하여 떨어진 머그잔을 세우고 구겨진 냅킨을 그 안에 넣게 합니다. Argon은 시각적 좌표 하네스(visual coordinate harness)와 액션 프리미티브(action primitives)를 사용하여 여러 차례에 걸쳐 이 작업을 추론합니다.
프롬프트:
[Attached: wrist_cam.png, obs.json]
Task: Get the robot arm to reorient the mug upright and put the napkin inside the mug.
## Execution Discipline
...
Argon은 Gemini Omni World Model 속에서 로봇을 조종하여 흩어져 있는 다섯 개의 스크래블 타일(G, R, A, N, O)을 재배치합니다.
)
'A - R - G - O - N'을 순서대로 철자하여 깨끗한 행으로 만듭니다.
정적인 프롬프트 하나를 지정하는 대신, Argon은 폐쇄된 시각적 루프(closed visual loop) 내에서 방향을 잡습니다. 이는 타임스탬프가 찍힌 액션 프롬프트를 작성하고, 중간 롤아웃 키프레임을 검사하며, 자신의 프롬프트를 개선합니다.
프롬프트:
Goal: {task_goal}
You are steering a video world model (Gemini Omni) in an iterative visual feedback loop. Inspect the attached frames from the latest rollout and write the next timestamped action prompt for the video world model:
- Break complex motions into one simple, single-direction action at a time.
...
Argon은 실제 로봇 원격 조작 에피소드를 보고 디지털 트윈을 개발하며; 정교한 손(dexterous hands)이 접촉하는 실제 객체와 유사하게 보이거나 행동하는 시뮬레이션 자산(simulation assets)을 얻거나 생성합니다. Argon은 반복적인 시각 추론 루프(iterative visual-reasoning loop) 내에서 자산과 장면을 조정하여 시뮬레이션 비주얼 및 접촉 이벤트를 실제 기록된 데이터의 것과 일치시킵니다.
프롬프트:
[Attached: robot_rollout_episode]
Build a MuJoCo scene of the robot and reconstructed task objects. When each episode is replayed frame by frame, by driving the robot joints toward the logged observation.state with joint-space PD.
Iterate using two verification objectives:
...
조작 작업에 대한 자가 중심(egocentric) 인간 비디오를 받으면, Argon은 작업 관련 객체를 식별하고, 오목한 컨테이너의 경우 거친 경계 상자(bounding boxes)를 복합 볼록 분해 메시(compound convex-decomposed meshes)로 대체하며, 인간 손 궤적을 MuJoCo 접촉 물리 환경에서 22-DoF 다섯 손가락의 이인성 휴머노이드(bimanual humanoid)에 재타겟팅합니다.
프롬프트:
[Attached: egocentric_human_video.mp4, candidate_sim_views.png, hand_3d_keypoints.json]
You are building a physically solvable 500 Hz MuJoCo manipulation environment (`scene.xml`) and studio Blender render that faithfully reproduces the tabletop task shown in `egocentric_human_video.mp4` on a bimanual humanoid robot with 22-DoF dexterous five-fingered hands:
1. Scene Reconstruction & Camera Calibration:
...
Argon을 사용하면 개발자는 거친 손 스케치 사진—Apollo 2 휴머노이드가 포물선 궤적을 따라 공을 던져 테이블 위의 3-2-1 쌓인 상자를 넘어뜨리는 모습—을 찍기만 해도, Argon이 GPU 가속화된 mujoco_warp 장면을 자동으로 구성하고, 균형 잡힌 76-DoF 전신 및 다섯 손가락 투척 궤적을 합성하며, 폐쇄 루프 물리 환경에서 6/6 목표 쓰러뜨림을 검증하고, Blender 4.5 Cycles 렌더를 내보낼 수 있습니다.
프롬프트:
[첨부: hand_drawn_throw_sketch.jpg]
이 손 스케치를 `mujoco_warp`의 물리적으로 검증된 휴머노이드 시뮬레이션과 레이 트레이스된 Blender Cycles 비디오로 변환하세요:
1. 스케치로부터 장면 및 운동학적 설정:
...
Argon은 민첩한 조작에 대한 정밀한 물리적 이해를 가지고 있으며, 비디오에서 상세한 분할(segmentation) 및 텍스트 라벨링을 제공할 수 있습니다. Argon은 일시정지, 불안정한 파지(grasp), 실수와 같은 조작의 미흡한 부분을 식별할 수 있습니다. 136초에 걸쳐 bimanual ALOHA 2 로봇이 정사각형 종이를 오리가미 여우로 접는 오버헤드 비디오가 주어지면, Argon은 시간 정렬된 4단계 후견(hindsight) 어노테이션 계층 구조를 생성합니다: 에피소드 목표 (G1), 6개의 연속적인 의미론적 하위 작업 (G2), 17개의 접촉 수준 원자적 기본 동작 (G3), 그리고 실수와 재시도 동안 작업 진행을 평탄하게 유지하는 자동 품질 관리(QC) 가중치 조정입니다.
프롬프트:
[첨부: Aloha2_Origami_20250309.mp4]
네 가지 수준의 시간 정렬된 다중 세분성 후견 어노테이션 JSON을 생성하세요:
1. G1_episode_instruction: 전체 조작 목표를 설명하는 간결한 명령형 문장.
...
로봇으로 고전적인 12개 공 저울 퍼즐을 재현하기 위해 Argon은 12개의 시각적으로 동일한 당구공(그중 하나는 비밀리에 더 무겁거나 가볍다)과 관절형 Roberval 양팔 저울이 있는 bimanual Franka FR3 MuJoCo 환경을 구축합니다. 이후 비전 전용 폐루프 솔버를 작성하여 스테레오 RGB 카메라로 공의 위치를 삼각 측량하고, 매 측정 후 저울 기울기를 시각적으로 읽은 다음, 3번의 측정 안에 이상한 공을 무거운(빨간색) 또는 가벼운(파란색) 트레이에 격리합니다.
프롬프트:
# 프롬프트 1 — 물리 정확도 MuJoCo 환경 및 벤치마크 생성
공유 테이블 위에 있는 두 개의 7-DoF Franka FR3 팔(병렬 집게발 장착)을 가진 이중 암 로봇이 https://www.mathsisfun.com/pool_balls_solution.html의 고전적인 12개 공 저울 무게 퍼즐을 해결하는 임무를 수행하도록 MuJoCo 환경을 만드세요.
1. 2x6 시작 랙에 시각적으로 구별할 수 없는 12개의 당구공(표준 150g짜리 11개, 이상한 공은 270g 또는 30g)을 만드세요.
...
Argon은 로봇 작업을 위한 일반 가치 함수입니다. 인간 UMI 데이터셋의 60초 bimanual 링 정렬 에피소드에서 평가되었으며, Argon은 접촉 전환 주변의 동기화된 헤드, 왼쪽 집게발, 오른쪽 집게발 카메라 피드를 반복적으로 검사하여 밀도 높은 가치 함수/작업 진행 예측을 생성하고 궤적을 양수, 중립, 음수 진행 기울기를 가진 28개의 세그먼트로 분해합니다.
프롬프트:
[첨부: umi_head.mp4, umi_left_gripper.mp4, umi_right_gripper.mp4]
헤드, 왼쪽, 오른쪽 집게발 뷰에서 활동을 수행하는 인간이 착용한 3개의 비디오를 보세요. 비디오를 철저히 살펴보고 작업 진행에 대한 상세한 플롯(양수, 중립, 음수 기울기 포함)을 제공하고, 비디오에서 중요한 세그먼트를 식별하고 활동에 레이블을 지정하세요. 더 나은 이해를 얻기 위해 필요하다면 개별 프레임 또는 하위 세그먼트를 보세요.
Argon은 시뮬레이션에서 새로운 데이터를 생성하여 범용적인 비전-언어-행동(VLA) 모델의 성능을 향상시킬 수 있습니다. 실제 테이블탑의 단일 RGB 사진으로부터 시작하여, Argon은 자율적으로 보정된 MuJoCo 시뮬레이션 트윈을 구축하고, 새로운 작업을 정의하며, 폐쇄 루프 모션 생성기를 합성하여 시뮬레이션에서 4,500개 이상의 도메인 랜덤화 에피소드를 수집합니다. 이를 통해 실제 물리 로봇의 성공률은 **56%에서 75%**로 향상되고, 완료 시간은 **35초에서 24초**로 단축됩니다.
*프롬프트:*
[Attached: real_tabletop_photo.jpg]
You are given a single overhead RGB camera photo (real_tabletop_photo.jpg) of a bimanual robot workspace (two 7-DoF Franka FR3 arms with parallel-jaw grippers and 4 RGB cameras) facing a table arranged with photobooth party props.
- Reconstruct procedural 3D meshes and compound MuJoCo collision primitives for all 9 party props matching their real-world dimensions, colors, and resting poses, including spring-hinged deformable crown panels for the soft plush cap.
...
단순한 6-DoF 암에서 Argon은 피킹 및 배치(pick and place) 작업에 대해 시도와 자체 성찰을 통해 실행 속도와 배치 정확도를 반복적으로 자체 개선합니다.
*프롬프트:*
Stage 1 — Measure Objects & Dry-Run Plan (No Hardware Motion)
Stage 1: measure objects — find the objects and plan the whole motion. The arm does not move in this stage.
A. I put a LEGO brick and a box on the table in front of the arm, and the wooden box to one side. Find the brick and the wooden box in the image. And also in the real world. Show this in an annotated image.
...
각 논문당 하나의 프롬프트로, Argon은 로보틱스 제어 원고 및 공개된 체크포인트를 읽고, 물리 모델과 폐쇄 루프 컨트롤러(DeepLoco의 7-네트워크 계층적 운동학에서 HUSKY의 50 Hz PPO 액터에 이르는 것을 Whole-Body MPC의 Web Worker iLQR로 포팅)를 자체 포함된 MuJoCo WebAssembly 브라우저 실험실로 가져가서, 헤드리스 Chromium에서 검증합니다.
*프롬프트:*
첨부: paper.pdf, 선택적 author_checkpoints/ 또는 urdf_assets/]
MuJoCo WebAssembly에서 논문 "<Paper Title & arXiv ID>"를 처음부터 재현하고 자립형 브라우저 실험실 + 시각 에세이를 배포하세요:
1. MuJoCo XML에서 논문의 정확한 물리 시간 단계, 액추에이터 이득(kp/kv), 토크 제한 및 운동학적 제약을 일치시키고, 논문의 정확한 제어 속도에서 실제 신경 추론 또는 Web Worker iLQR을 JavaScript로 실행합니다.
...
Argon은 코딩, 시각 인식, 물리 시뮬레이션, 그리고 체화된 로봇 제어를 연결합니다. 다중 뷰 비디오, 3D 기하학, 접촉 역학, 고유수용 감각 원격 측정(proprioceptive telemetry)에 대해 네이티브하게 추론함으로써, Argon은 단순히 장면에 어떤 물체가 있는지뿐만 아니라 그 물체들이 전체 신체 민첩 작업을 수행하기 위해 에이전트와 어떻게 물리적으로 상호작용하는지 이해합니다. Gemini 4 Argon은 물리적 AGI(Artificial General Intelligence)를 향한 경로를 가속화하는 중요한 이정표입니다. 이 핵심 지능을 구축함으로써, 우리의 목표는 복잡한 과제를 해결하기 위해 인간과 함께 작업할 수 있는 로봇 공학을 가능하게 하는 것입니다.
오늘 Google의 개발자 플랫폼 전반에 걸쳐 **Gemini 4 Argon**으로 빌드를 시작할 수 있습니다:
`gemini-4-argon`
Interactions API에서 `google-genai` SDKs 전반에 걸쳐 첫날부터 지원되는 모델로 사용합니다. 복잡한 계획, `/goal` 실행 및 다중 에이전트 오케스트레이션에 Google Antigravity를 위해 `gemini-4-argon`을 활용하세요.
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
