Key-Gram: Embodied Manipulation을 위한 확장 가능한 세계 지식
요약
Key-Gram은 Embodied control에서 언어적 지식과 시각적 연산을 분리하여 모달리티 경쟁을 해결하는 조건부 메모리 프레임워크입니다. 지시 사항을 key-grams로 분해하고 해시 조회를 통해 정적인 언어적 사전 지식을 검색하여 백본에 주입함으로써, 백본이 시각적 추론과 행동 추론에 집중할 수 있도록 설계되었습니다. 실험 결과 RoboTwin2.0, LIBERO-Plus 및 실제 양팔 조작 환경에서 성능 향상을 입증하며 확장 가능한 메커니즘임을 보여주었습니다.
핵심 포인트
- 언어적 지식과 시각적 연산을 분리하여 백본의 모달리티 경쟁 문제를 해결
- 지시 사항을 작업별 key-grams로 분해하고 결정론적 hashed lookup을 통해 지식 검색
- 외부 메모리 활용을 통해 백본 업데이트 없이도 지식 확장이 가능한 구조
- RoboTwin2.0 및 LIBERO-Plus 등 다양한 벤치마크와 실제 환경에서 높은 성능 향상 달성
Embodied control (체화된 제어)은 모델이 동적인 시각적 상태 (visual states)를 추론하는 동시에 구성적인 언어 지시 사항 (compositional language instructions)을 따를 것을 점점 더 요구하고 있습니다. 그러나 현재의 vision-language-action (VLA) 정책과 world-action 모델들은 종종 공유된 backbone (백본) 또는 conditioning pathway (조건화 경로) 내에서 언어적 지식과 시각적 연산을 결합하며, 이는 modality competition (모달리티 경쟁)을 초래하고 지식 확장을 backbone 업데이트에 의존하게 만듭니다. 본 논문에서는 embodied control을 위해 언어에서 유도된 세계 지식 (world knowledge)을 시각적 상태 추론으로부터 분리하는 conditional-memory (조건부 메모리) 프레임워크인 Key-Gram을 소개합니다. 이 프레임워크의 핵심은 지시 사항을 작업별 key-grams로 분해하고, 결정론적 hashed lookup (해시 조회)을 통해 정적인 언어적 사전 지식 (linguistic priors)을 검색하며, 검색된 항목을 context-aware gating (문맥 인식 게이팅) 및 lightweight convolutional fusion (경량 컨볼루션 융합)을 통해 선택된 hidden layers (은닉층)에 주입하는 메모리 모듈입니다. 이러한 설계는 backbone이 주요 용량을 시각적 추론 및 action inference (행동 추론)에 전념할 수 있게 하는 동시에, 재사용 가능한 지시 지식을 확장 가능한 외부 메모리에 저장할 수 있게 합니다. 논리적 메모리 테이블은 학습 중에 편리하게 분할될 수 있으며, $O(1)$ lookup (조회) 패턴 덕분에 추론 시 host memory (호스트 메모리)에 효율적으로 배치될 수 있습니다. RoboTwin2.0, LIBERO/LIBERO-Plus, 그리고 실제 환경의 dual-arm manipulation (양팔 조작) 실험 전반에 걸쳐, Key-Gram은 $π_{0}$ 및 $π_{0.5}$ backbone 모두를 일관되게 향상시켰으며, RoboTwin2.0에서 평균 $29.5 ext{}/9.9 ext{} ext{%}$의 상대적 이득, 타겟 도메인 fine-tuning (미세 조정) 없는 LIBERO-Plus 전이 학습에서 $35.8 ext{}/4.5 ext{} ext{%}$의 이득, 그리고 실제 환경의 long-horizon (장기적) 작업에서 $15.4 ext{}/8.1 ext{} ext{%}$의 이득을 보였습니다. 이러한 결과는 외부화된 linguistic memory (언어적 메모리)가 compositional grounding (구성적 접지), transfer (전이), 그리고 실제 환경의 manipulation (조작)을 개선하기 위한 효과적이고 확장 가능한 메커니즘을 제공함을 입증합니다.
AI 자동 생성 콘텐츠
본 콘텐츠는 arXiv cs.AI의 원문을 AI가 자동으로 요약·번역·분석한 것입니다. 원 저작권은 원저작자에게 있으며, 정확한 내용은 반드시 원문을 확인해 주세요.
원문 바로가기