CoRAL: 접촉이 풍부한 적응형 LLM 기반 로봇 조작 제어

대규모 언어 모델 (LLMs) 과 비전-언어 모델 (VLMs) 은 고수준 추론과 의미 이해에서 놀라운 능력을 보여주지만, 명시적인 물리적 토대가 부족하고 적응형 제어를 수행할 수 없기 때문에 직접적으로 접촉이 풍부한 조작에 적용하는 것은 여전히 도전 과제입니다. 이 격차를 해소하기 위해 우리는 CoRAL(접촉이 풍부한 적응형 LLM 기반 제어) 을 제안합니다. 이는 고수준 추론과 저수준 제어를 분리함으로써 제로샷 (zero-shot) 계획을 가능하게 하는 모듈 프레임워크입니다. 블랙박스 정책과 달리, CoRAL 은 LLM 을 직접적인 컨트롤러가 아닌 컨텍스트에 대한 목표 함수를 생성하는 비용 설계자 (cost designer) 로 사용하여 샘플링 기반 운동 계획기 (MPPI) 를 사용합니다. 시각 데이터의 물리 파라미터 불확실성을 해결하기 위해 우리는 신경 기호적 적응 루프를 도입합니다: VLM 은 질량과 마찰 계수 추정과 같은 환경 역학에 대한 의미 선행 정보를 제공하고, 이는 온라인 시스템 식별을 통해 실시간으로 명시적으로 정교화되며, LLM 은 상호작용 피드백에 기반하여 전략적 오류를 수정하기 위해 비용 함수 구조를 반복적으로 조정합니다. 또한, 검색 기반 메모리 유닛은 시스템이 재발생 작업을 통해 성공적인 전략을 재사용할 수 있게 합니다. 이 계층적 구조는 고수준 의미 추론과 반응적 실행을 분리함으로써 실시간 제어 안정성을 보장하고, 느린 LLM 추론과 동적 접촉 요구 사이의 격차를 효과적으로 해소합니다. 우리는 CoRAL 을 도전적이고 새로운 작업 (예: 외부 접촉을 활용하여 물체를 벽에 던지기) 과 함께 시뮬레이션 및 실제 하드웨어에서 검증했습니다. 실험은 CoRAL 이 미접촉이 풍부한 시나리오에서 성공률을 평균 50% 이상 높여 최첨단 VLA 와 기반 모델 기반 계획기 베이스라인을 능가함을 보여주며, 적응적인 물리적 이해를 통해 시뮬레이션-실제 격차를 효과적으로 처리합니다.