Insights
AI가 자동으로 큐레이션·번역·정리하는 기술 동향 피드입니다.
ZAP는 사전 학습된 VLM의 세계 이해 능력과 시뮬레이션 기반 미세 조정을 결합하여 로봇 에이전트를 훈련하는 방법론입니다. 실제 데이터를 사용하지 않고도 높은 성공률을 달성하며, 새로운 객체나 환경에도 뛰어난 일반화 능력을 입증했습니다.
AI 자동 생성 콘텐츠
본 콘텐츠는 arXiv cs.LG의 원문을 AI가 자동으로 요약·번역·분석한 것입니다. 원 저작권은 원저작자에게 있으며, 정확한 내용은 반드시 원문을 확인해 주세요.
원문 바로가기로봇 정책(policy)은 장면에서 특정 작업이 무엇을 요구하는지 이해하고, 그 작업을 완수하기 위해 로봇을 어떻게 움직여야 하는지를 알아야 합니다. 이 두 가지 능력을 달성하기 위해, 우리는 Zero-real Agent Policy (ZAP)를 소개합니다. ZAP는 간단한 도구 하네스(tool harness)를 통해 작은 상용 비전-언어 모델(vision-language model)에게 로봇을 제어하는 방법을 가르치는 방법론입니다. 우리는 사전 훈련된 27B 파라미터 모델을 사용하여 세계 이해와 추론 능력을 구축하고, 이후 간단한 시뮬레이션 작업에 대해 지도 미세 조정(supervised fine-tuning)과 GRPO를 적용하여 로봇 움직임을 학습시킵니다.
실제 로봇 데이터를 전혀 사용하지 않고도, ZAP는 실제 작업에서 96.7%의 성공률을 달성하며, 이는 저희 하네스 내에서 GPT-6 Astra와 동등한 수준이며 MolmoAct2 VLA (33.3%)보다 우수합니다. 또한, GPT-6 Astra보다 3배 빠르고 17배 저렴하게 작동합니다.
우리는 ZAP가 테스트 튜브를 랙에 배치하거나(프롬프트 시 랙의 다른 구멍을 선택), 공중에서 팔 사이로 테스트 튜브를 전달하거나, 체스 게임을 하거나, 탁구판에 X를 그리는 등 완전히 새로운 객체, 목표, 전략 및 언어에도 일반화됨을 입증했습니다. 이러한 목표와 조작 방식은 저희 훈련 데이터에 포함되어 있지 않습니다.
나아가 ZAP는 보지 못한 구체적인 구현(unseen embodiment)으로도 전이됩니다. 단일 팔의 Franka 로봇에서, ZAP는 RoboLab-120에서 55.9%를 기록하며 선두 VLA/WAM 기준선보다 4.9 퍼센트 포인트 앞섰습니다.