행동 언클로닝(Behavior Uncloning): 추론 시 제어 없이 정책 가중치로 모드 재지정(Mode Redirection) 증류하기

요약

행동 복제(Behavior Cloning) 모델이 원치 않는 행동 모드를 학습하는 문제를 해결하기 위해 MoRE(Mode Redirection) 기법을 제안합니다. 이 방식은 추론 시 오버헤드 없이 정책 가중치에 재지정 신호를 증류하여 원하는 행동 모드로 유도합니다.

핵심 포인트

• MoRE는 추론 시 제어 없이 정책 가중치 편집만으로 행동 모드 재지정 가능
• 데이터 재학습이나 추론 시 추가적인 오버헤드 없이 원치 않는 모드 억제
• 8가지 환경 테스트 결과, 기존 혼합 모드 정책 대비 성공률(SR) 44%p 향상
• Diffusion Policy 및 Pi0.5 VLA 등 다양한 로봇 정책 백본에 일반화 가능