Insights
AI가 자동으로 큐레이션·번역·정리하는 기술 동향 피드입니다.
본 보고서는 EBench를 활용하여 최첨단 MLLM 에이전트의 로봇 제어 능력을 평가합니다. 직접 명령 생성 방식과 사후 훈련된 VLA/WAM 정책을 호출하는 하네스 방식을 비교했습니다. 두 구성 요소의 조합은 높은 성공률을 보이지만, 비최적화 문제로 인해 성능 개선 여지가 남아있음을 제시하며 미래 설계 방향을 제안합니다.
AI 자동 생성 콘텐츠
본 콘텐츠는 arXiv cs.AI의 원문을 AI가 자동으로 요약·번역·분석한 것입니다. 원 저작권은 원저작자에게 있으며, 정확한 내용은 반드시 원문을 확인해 주세요.
원문 바로가기Frontier 멀티모달 대규모 언어 모델(MLLMs)은 로봇 특화 훈련 없이도 로봇을 제어할 수 있지만, 조작 요구 사항 전반에 걸쳐 이들의 능력이 사후 훈련된 Vision-Language-Action (VLA) 및 World Action Model (WAM) 정책과 어떻게 비교되고 상호 작용하는지에 대해서는 아직 철저히 평가되지 않았습니다. 본 보고서에서는 EBench를 사용하여 GPT-6-Astra를 핵심 에이전트로, 이 에이전트가 사후 훈련된 정책과 동일한 시각 및 고유수용 감각 관찰 프로토콜을 통해 에이전트 하네스(agent harness)를 거쳐 로봇을 제어하는 것을 평가합니다. 우리는 두 가지 에이전트 구성을 연구했습니다: 에이전트가 웨이포인트 명령을 직접 생성하는 '직접 제어(direct control)' 방식과, 행동 실행을 위해 사후 훈련된 VLA 또는 WAM 정책을 호출할 수 있는 '정책 기반 하네스(harness with policy)' 방식입니다. 직접 제어의 경우, 에이전트는 사후 훈련된 정책들과 비교하여 경쟁력 있는 전반적인 성능을 달성합니다. 특히 단기 지평선 작업(short-horizon tasks)에서 우위를 보이며 일반화 차원 전반에 걸쳐 가장 적은 성능 변동성을 나타냈습니다. 반면, 장기 지평선 작업, 테이블탑 조작, 고정밀 접촉 기반 작업에서는 사후 훈련된 정책들보다 성능이 떨어졌습니다.
정책 기반 하네스에서 사후 훈련된 VLA 또는 WAM을 호출하는 방식은 두 구성 요소의 상호 보완적인 강점을 결합하여 전반적인 작업 성공률을 가장 강력한 비교 대상 정책 수준으로 끌어올리면서도 토큰 비용을 크게 절감합니다. 하지만, 에이전트가 제어를 재개할 때 발생하는 비최적의 정책 호출, 하위 목표(subgoals) 없이 고정된 명령어 실행, 그리고 파지 방해로 인해 성능은 여전히 독립적인 구성 요소들의 개별 작업 상한선보다 낮게 유지됩니다.
종합적으로, 본 연구는 최첨단 MLLM 에이전트의 능력 경계를 특징화하고 미래 에이전트 하네스 설계 개선을 위한 방향을 제시합니다. 프로젝트 페이지: https://internrobotics.github.io/EBench-Astra-Tech-Report/