텍스트와 이미지를 활용한 사고: 장기 지평 로봇 조작을 위한 교차 시각-언어 추론 흔적

요약

본 논문은 장기 지평 로봇 조작을 위해 명시적인 중간 표현인 '교차 시각-언어 추론 흔적(Interleaved Vision-Language Reasoning Trace)'을 활용하는 IVLR 프레임워크를 제안합니다. 이 프레임워크는 초기 관측과 지시사항에서 전역적인 의미-기하학적 단서를 생성하고, 이를 행동 디코더에 조건부로 제공하여 로봇의 계획 일관성을 높입니다. 시뮬레이션 벤치마크(LIBERO 등)에서 높은 성공률을 달성했으며, 특히 두 모달리티가 결합된 전역적인 흔적이 가장 효과적임을 입증했습니다.

핵심 포인트

• 장기 지평 로봇 조작에는 논리적 일관성과 기하학적 기반이 모두 필요한 명시적인 계획 표현이 필수적이다.
• IVLR 프레임워크는 원시 다중 모달리티 트랜스포머를 사용하여 전역적인 의미-기하학적 추론 흔적을 생성하고 이를 행동에 활용한다.
• 제안된 '교차 흔적'은 텍스트나 시각 정보만 사용하는 경우보다 훨씬 높은 로봇 조작 성공률을 달성했다.
• 시뮬레이션 환경에서 가상 감독(pseudo-supervision)을 구축하여 장기 지평 및 분포 이동 문제를 해결하고 성능을 검증했다.