When Life Gives You BC, Make Q-functions: Extracting Q-values from Behavior

요약

본 논문은 Behavior Cloning(BC)의 한계점인 온라인 개선 메커니즘 부재를 해결하기 위해 Q2RL이라는 새로운 오프라인-온라인 학습 알고리즘을 제안합니다. Q2RL은 BC 정책으로부터 Q-함수를 추정하고, 이 Q-값을 기반으로 샘플 수집 과정에서 BC와 강화학습(RL) 정책 행동 간의 전환을 관리하여 효율적인 온라인 개선을 가능하게 합니다. D4RL 및 robomimic 벤치마크에서 높은 성공률과 빠른 수렴 속도를 보여, 특히 고정밀 조작 작업에 효과적임을 입증했습니다.

핵심 포인트

• Behavior Cloning(BC)은 오프라인 데이터만 사용하므로 온라인 개선 능력이 부족하다는 한계가 있다.
• 제안된 Q2RL 알고리즘은 BC 정책으로부터 Q-함수를 추정하는 'Q-Estimation'과, 이 Q-값을 이용해 샘플 수집을 관리하는 'Q-Gating' 두 가지 핵심 모듈로 구성된다.
• Q2RL은 기존 오프라인-온라인 학습 방법의 분포 불일치 문제를 해결하며, 효율적인 온라인 개선을 가능하게 한다.
• 실제 조작 작업(예: 파이프 조립)에 적용했을 때, Q2RL은 짧은 시간의 상호작용만으로 높은 성공률과 큰 성능 향상을 달성할 수 있다.