Insights
AI가 자동으로 큐레이션·번역·정리하는 기술 동향 피드입니다.
로봇이 도구의 본래 목적 외에 창의적으로 도구를 사용할 수 있도록 돕는 GROW² 프레임워크를 소개합니다. VLM의 상식적 추론과 시각 파운데이션 모델을 결합하여 객체 선택과 동작 영역 국지화를 계층적으로 수행합니다.
AI 자동 생성 콘텐츠
본 콘텐츠는 arXiv cs.AI의 원문을 AI가 자동으로 요약·번역·분석한 것입니다. 원 저작권은 원저작자에게 있으며, 정확한 내용은 반드시 원문을 확인해 주세요.
원문 바로가기칼을 사용할 수 없다면 로봇이 접시를 사용하여 케이크를 자를 수 있을까요? 도구 사용 (Tool use)은 로봇의 능력을 크게 확장시키지만, 도구의 본래 목적을 넘어 창의적으로 도구를 사용하기 위해서는 로봇이 $\textit{오픈 월드 어포던스 그라운딩 (open-world affordance grounding)}$이라는 과제에 직면하게 됩니다. 즉, 도구로 사용할 오픈 카테고리 객체를 선택하고, 해당 객체의 구체적인 동작 영역을 국지화(localize)해야 합니다. 이를 위해 우리는 객체의 부품(parts)을 자연스러운 추상화 단위로 활용하여, 그라운딩 과정을 의미론적(semantic) 수준과 기하학적(geometric) 수준으로 계층적으로 분리함으로써 데이터 집약적인 엔드 투 엔드 (end-to-end) 학습의 필요성을 우회하는 GROW$^2$ (GROunding Which and Where)를 소개합니다. 의미론적으로, GROW$^2$는 시각-언어 모델 (Vision-Language Models, VLMs)의 상식적 추론 (commonsense reasoning)을 활용하여 자연어 작업 지침을 분석하고, 적절한 객체를 도구로 선택하며, 도구와 대상 객체에서 작업 관련 부품을 식별합니다. 기하학적으로는, 시각 파운데이션 모델 (vision foundation models)이 단일 RGB-D 이미지로부터 선택된 부품을 정밀한 3D 영역으로 그라운딩합니다. 기존 벤치마크에 대한 실험 결과, GROW$^2$는 어포던스 예측 (affordance prediction) 벤치마크에서 최첨단 (state-of-the-art) 베이스라인 모델들을 능가하는 성능을 보여주었습니다. 나아가, 오픈 카테고리 객체에 대해 제로샷 일반화 (zero-shot generalization)를 달성하였으며, 시뮬레이션 및 실제 로봇 도구 사용 실험 모두에서 베이스라인보다 뛰어난 성능을 기록했습니다.