RECALL: Vision-Language-Action 모델의 능동적 평생 학습을 위한 회복 경험 수집 (Recovery Experience

Vision-Language-Action (VLA) 모델은 일반적으로 수동적 모방 학습 (passive imitation learning)을 통해 미세 조정 (fine-tuning)됩니다. 이 방식은 정책 (policy)이 성능이 저조한 작업에 대해 추가적인 시연 (demonstrations)을 수집하는 과정을 포함합니다. 이러한 접근 방식은 몇 가지 단점이 있습니다. 데이터 수집이 트리거되기 전에 로봇이 반드시 실패해야 하며, 어떤 상태 (states)에 감독 (supervision)이 필요한지에 대한 가이드가 거의 제공되지 않고, 정책이 이미 잘 수행하고 있는 작업의 중복된 부분에 시연자의 노력을 낭비하게 만듭니다. 본 논문에서 우리는 VLA를 위한 능동적이고 지속적인 학습 (active, continual learning) 패러다임을 제안합니다. 우리는 불확실성 기반 (uncertainty-guided)의 능동적 데이터 수집이 수동적으로 수집된 시연을 사용할 때보다 더 효율적인 미세 조정을 이끌어낸다는 것을 입증합니다. 그러나 우리는 능동적으로 수집된 회복 (recovery) 데이터로만 미세 조정을 할 경우 치명적 망각 (catastrophic forgetting)이 발생한다는 사실도 발견했습니다. 우리는 리플레이 기반 데이터 혼합 (replay-based data mixing) 및 탄성 가중치 통합 (elastic weight consolidation)을 포함한 지속적 학습 기술들을 평가하며, 불확실성 기반 회복 데이터에 대한 가소성 (plasticity)과 이전에 학습된 행동의 유지 (retention) 사이의 트레이드오프 (tradeoffs)를 식별합니다. 전반적으로, 우리의 연구는 자기회귀 (autoregressive) VLA를 위한 능동적 지속 학습에 대한 경험적 연구에 기여하며, 불확실성 기반 회복 시연이 적응 효율성을 향상시킬 수 있음을 확립하는 동시에, 타겟팅된 새로운 데이터가 대규모 로봇 정책에 통합될 때 발생하는 미해결 과제들을 밝혀냅니다.