CoRAL: 접촉이 풍부한 적응형 LLM 기반 로봇 조작 제어

요약

CoRAL은 대규모 언어 모델(LLMs)의 고수준 추론 능력과 저수준 로봇 제어 간의 격차를 해소하기 위해 설계된 모듈형 프레임워크입니다. 이 시스템은 LLM을 직접적인 컨트롤러가 아닌 목표 함수를 생성하는 '비용 설계자'로 활용하고, 샘플링 기반 운동 계획기(MPPI)와 결합하여 접촉이 풍부한 환경에서의 제로샷 적응적 조작을 가능하게 합니다. 특히 VLM을 통해 물리 파라미터의 의미론적 선행 정보를 제공받고, LLM은 상호작용 피드백에 따라 비용 함수를 반복적으로 조정하며 실시간으로 전략적 오류를 수정하여 높은 안정성과 성능을 달성합니다.

핵심 포인트

• CoRAL은 고수준 추론(LLMs)과 저수준 제어(MPPI)를 분리하는 모듈형 아키텍처를 채택했습니다.
• LLM은 직접적인 정책 결정 대신, 환경에 대한 목표 함수(비용 설계자)를 생성하여 안정성을 높입니다.
• VLM을 활용하여 질량 및 마찰 계수 같은 물리 파라미터의 의미론적 선행 정보를 제공하고 온라인으로 정교화합니다.
• 상호작용 피드백 기반으로 LLM이 비용 함수 구조를 반복적으로 조정하며 전략적 오류 수정 능력을 갖춥니다.
• 검색 기반 메모리 유닛을 통해 시스템은 성공적인 과거 전략을 재사용하여 작업의 안정성을 높입니다.