Key-Gram: Embodied Manipulation을 위한 확장 가능한 세계 지식

요약

Key-Gram은 Embodied control에서 언어적 지식과 시각적 연산을 분리하여 모달리티 경쟁을 해결하는 조건부 메모리 프레임워크입니다. 지시 사항을 key-grams로 분해하고 해시 조회를 통해 정적인 언어적 사전 지식을 검색하여 백본에 주입함으로써, 백본이 시각적 추론과 행동 추론에 집중할 수 있도록 설계되었습니다. 실험 결과 RoboTwin2.0, LIBERO-Plus 및 실제 양팔 조작 환경에서 성능 향상을 입증하며 확장 가능한 메커니즘임을 보여주었습니다.

핵심 포인트

• 언어적 지식과 시각적 연산을 분리하여 백본의 모달리티 경쟁 문제를 해결
• 지시 사항을 작업별 key-grams로 분해하고 결정론적 hashed lookup을 통해 지식 검색
• 외부 메모리 활용을 통해 백본 업데이트 없이도 지식 확장이 가능한 구조
• RoboTwin2.0 및 LIBERO-Plus 등 다양한 벤치마크와 실제 환경에서 높은 성능 향상 달성