사전 학습은 '무엇'을 알고, 시뮬레이션이 '어떻게'를 가르친다: 시뮬레이션 훈련 로봇 에이전트의 구성적 일반화

로봇 정책(policy)은 장면에서 특정 작업이 무엇을 요구하는지 이해하고, 그 작업을 완수하기 위해 로봇을 어떻게 움직여야 하는지를 알아야 합니다. 이 두 가지 능력을 달성하기 위해, 우리는 Zero-real Agent Policy (ZAP)를 소개합니다. ZAP는 간단한 도구 하네스(tool harness)를 통해 작은 상용 비전-언어 모델(vision-language model)에게 로봇을 제어하는 방법을 가르치는 방법론입니다. 우리는 사전 훈련된 27B 파라미터 모델을 사용하여 세계 이해와 추론 능력을 구축하고, 이후 간단한 시뮬레이션 작업에 대해 지도 미세 조정(supervised fine-tuning)과 GRPO를 적용하여 로봇 움직임을 학습시킵니다.

실제 로봇 데이터를 전혀 사용하지 않고도, ZAP는 실제 작업에서 96.7%의 성공률을 달성하며, 이는 저희 하네스 내에서 GPT-6 Astra와 동등한 수준이며 MolmoAct2 VLA (33.3%)보다 우수합니다. 또한, GPT-6 Astra보다 3배 빠르고 17배 저렴하게 작동합니다.

우리는 ZAP가 테스트 튜브를 랙에 배치하거나(프롬프트 시 랙의 다른 구멍을 선택), 공중에서 팔 사이로 테스트 튜브를 전달하거나, 체스 게임을 하거나, 탁구판에 X를 그리는 등 완전히 새로운 객체, 목표, 전략 및 언어에도 일반화됨을 입증했습니다. 이러한 목표와 조작 방식은 저희 훈련 데이터에 포함되어 있지 않습니다.

나아가 ZAP는 보지 못한 구체적인 구현(unseen embodiment)으로도 전이됩니다. 단일 팔의 Franka 로봇에서, ZAP는 RoboLab-120에서 55.9%를 기록하며 선두 VLA/WAM 기준선보다 4.9 퍼센트 포인트 앞섰습니다.