Insights
AI가 자동으로 큐레이션·번역·정리하는 기술 동향 피드입니다.
RoboArchitect는 코딩 모델로서 로봇 에이전트의 하네스(harness) 설계를 자동화합니다. 이는 고정된 정책 주변으로 하네스를 반복적으로 수정하며, 별도의 가중치 업데이트 없이도 성능을 크게 향상시킵니다. 이 시스템은 영구 메모리를 활용하여 학습 경험을 반영하고, 보지 못한 환경에서도 높은 성공률을 달성할 수 있음을 입증했습니다.
AI 자동 생성 콘텐츠
본 콘텐츠는 arXiv cs.AI의 원문을 AI가 자동으로 요약·번역·분석한 것입니다. 원 저작권은 원저작자에게 있으며, 정확한 내용은 반드시 원문을 확인해 주세요.
원문 바로가기최근 연구에 따르면, 고정된(frozen) 로봇 정책은 제어 코드가 언제 정책을 조회할지, 비전 도구를 참조할지, 또는 팔을 직접 명령할지를 결정하는 에이전트 하네스(agent harness) 내부에서 훨씬 더 좋은 성능을 보입니다. 하지만 오늘날 이러한 하네스는 수작업으로 구축되며 새로운 로봇이나 벤치마크가 있을 때마다 재설계해야 합니다. 우리는 하네스 설계 자체가 자동화될 수 있음을 보여주며, 이는 새로운 환경에 대한 파인튜닝(finetuning)의 강력한 대안을 제공합니다.
RoboArchitect는 코딩 모델로서 로봇의 롤아웃(rollouts)을 관찰하고, 실패를 진단하며, 고정된 정책 주변으로 하네스를 반복적으로 수정합니다. 이 하네스는 최적화를 위해 일련의 에피소드에서 발전하며, 별도로 확보된 장면과 작업에 대해 평가됩니다. RoboArchitect는 모델 가중치를 업데이트하지 않으면서도, 여러 벤치마크와 정책 전반에 걸쳐 보지 못한 장면에서는 평균 성공률을 9.7%에서 43.3%로(4.5배) 높였고, 보지 못한 작업에서는 12.7%에서 40.2%로(3.2배) 높였습니다.
이러한 성능 향상은 특히 벤치마크가 정책의 학습 데이터와 거리가 먼 경우에 가장 크게 나타납니다. 일반적인 목적의 정책을 감싸는 방식으로 발전된 하네스는 종종 파인튜닝된 버전보다도 뛰어난 전문화된(specialist) 버전을 산출합니다. 또한, 막힌 팔을 들어 올리거나 장애물 때문에 위에서 접근할 수 없을 때 수평으로 도달하는 것과 같은 직관적인 제어 전략이 자동으로 설계됩니다. 하네스는 또한 자체적인 영구 메모리를 발전시켜 효과적인 파지 깊이(grasp depths)와 같이 학습된 경험을 나중 결정에 반영합니다. 이러한 결과는 로봇 조작 분야에서 상당한 잠재력(headroom)이 에이전트 하네스에 있으며, 그 설계가 가중치 업데이트 없이도 효과적으로 자동화되고 최적화될 수 있음을 시사합니다.