CoDA: 데이터 엔진과 행동 정책의 공동 진화

생성적 시뮬레이션은 로봇 환경 구축을 자동화할 수 있지만, 물리적으로 유효한 환경이 반드시 학습에 유용하다는 보장은 없습니다. 과제는 정책의 실패를 다루고 이를 극복하는 데 도움이 되는 감독(supervision)을 제공하는 환경을 식별하는 것입니다. 우리는 CoDA라는 프레임워크를 소개합니다. 이 프레임워크에서는 시뮬레이션 데이터 엔진과 행동 정책이 환경 구축, 정책 실패, 학습 진행에 대한 공유된 이종 메모리(heterogeneous memory)를 통해 공동 진화합니다. 이 메모리는 비전-언어 비평가(vision-language critic)로부터 검증된 진단(validated diagnoses)을 컴파일하여 어려움을 재현하는 생성 프로그램과 정책이 이를 극복하도록 돕는 학습 프로그램을 만듭니다. 나아가 우리는 Text2potential을 제안하여 이러한 진단을 행동 청크 값 학습(action-chunk value learning)을 위한 단계적 포텐셜(staged potentials)로 변환함으로써, 표준적인 쉐이핑 가정(standard shaping assumptions) 하에서 과제의 최적 정책을 유지하면서 정책 업데이트에 밀도 높은 감독을 제공합니다. 측정된 학습 진행도는 추가적인 생성과 프로그램 정제를 안내합니다. 네 가지 조작 과제군 전반에 걸쳐 CoDA는 지도 미세 조정(supervised fine-tuning) 후 5.3%였던 분포 외 성공률(out-of-distribution success)을 27.6%로 향상시켜, 동일한 생성 예산으로 가장 강력한 폐쇄 루프 기준선(closed-loop baseline)보다 9.5 퍼센트 포인트 높은 성능을 보였습니다. LIBERO-Pro에서 15라운드의 생성 및 학습은 위치 교란(position perturbations) 하에서 성공률을 25%에서 84%로, 지침 교란(instruction perturbations) 하에서 1%에서 76%로 끌어올렸습니다.