Cortex: 장기적 조작(Long-horizon Manipulation)을 위한 양방향 정렬된 체화된 에이전트(Embodied Agent)

원문 발행 2026. 07. 07. 02:55원문 언어 영어AI 한국어 번역arXiv cs.AI 원문 보기

요약

Cortex는 상위 수준의 VLM과 하위 수준의 VLA 사이의 간극을 메우기 위해 양방향 정렬된 체화된 에이전트 프레임워크를 제안합니다. 표준화된 스킬 프리미티브와 맞춤형 계획 인터페이스를 통해 장기적 과업 수행 능력을 혁신적으로 개선했습니다.

핵심 포인트

VLM과 VLA 간의 양방향 정렬을 통한 장기적 과업 수행 능력 강화
32개의 표준 스킬 프리미티브를 활용한 하위 과업 계획의 표준화
이벤트 균형 샘플링 및 하네스 엔지니어링을 통한 계획 모호성 해결
Libero-long 및 RoboTwin 벤치마크에서 기존 베이스라인 대비 성능 향상 입증
미세 조정된 VLA와 결합하여 복잡한 실제 환경의 제로샷 과업 수행 가능

최근의 시각-언어-행동 (Vision-Language-Action, VLA) 모델들이 범용 조작 정책(generalist manipulation policies) 측면에서 가능성을 보여주고 있지만, 현재의 관측값에만 의존하는 마르코프적(Markovian) 특성으로 인해 장기적 과업(long-horizon tasks) 수행에 어려움을 겪고 있습니다. 계층적 이중 시스템(Hierarchical dual-system) 방식이 이를 해결하려 시도하고 있으나, 상위 수준의 계획 의미론(high-level planning semantics)과 하위 수준의 실행 운동학(low-level execution kinematics) 사이의 간극으로 인해 어려움을 겪습니다. 우리는 상위 수준의 VLM에서 하위 수준의 VLA로 실행 가능하고 다루기 쉬운 하위 과업 계획을 전달하는 맞춤형 계획 인터페이스를 갖춘, 양방향으로 정렬된 체화된 에이전트 (Embodied Agent) 프레임워크인 Cortex를 소개합니다. 구체적으로, 우리는 조작 하위 과업을 32개의 표준 스킬 프리미티브 (skill primitives)로 표준화하고, 대표적인 객체 속성 및 개선된 궤적 도달 가능성(trajectory reachability)과 같은 다루기 쉬운 원칙(tractability principles)을 데이터 생성 파이프라인에 주입합니다. 이를 통해 4,000시간 이상의 오픈 소스 비디오 데이터에 대한 자동 주석(automatic annotation)과 30시간의 시뮬레이션 데이터 생성이 가능해졌습니다. 나아가, 우리는 하위 과업 전환 시 발생하는 계획의 모호성을 더 잘 처리할 수 있도록 프레임워크를 미세 조정(fine-tuning)하기 위한 이벤트 균형 샘플링(event-balanced sampling) 전략을 고안하였으며, 추론 시 태스크 컨텍스트(task contexts)부터 스킬 제약 조건(skill constraints)에 이르기까지 세심하게 설계된 하네스 엔지니어링(harness engineering)을 통해 이를 강화했습니다. 오픈 루프 (open-loop) VLM 및 클로즈드 루프 (closed-loop) 시스템 평가 모두에서 Cortex의 효능이 입증되었습니다. 예를 들어, Cortex는 Libero-long에서 3.1%, RoboTwin에서 4.1%만큼 단일 모델 (monolithic) 베이스라인보다 높은 성능을 보였습니다. 특히, Cortex의 범용 VLM은 미세 조정된 VLA와 결합하는 것만으로도 다단계 화학 실험과 같이 보지 못한 실제 환경의 장기적 과업을 제로샷 (zero-shot)으로 완수할 수 있으며, 이는 VLA 미세 조정만으로는 불가능한 능력입니다.

AI 자동 생성 콘텐츠

원문 바로가기

Cortex: 장기적 조작(Long-horizon Manipulation)을 위한 양방향 정렬된 체화된 에이전트(Embodied Agent)

요약

핵심 포인트

댓글