비평가 구조의 중요성: 휴머노이드 이동-조작(Loco-Manipulation)을 위한 이중(Dual) vs. 통합(Unified) 비평가 비교

휴머노이드 로봇을 위한 다중 목적 강화학습 (Multi-objective reinforcement learning)은 단일 정책 (policy) 내에서 이동 (locomotion)과 조작 (manipulation)을 조율해야 합니다. 자연스러운 설계 선택지는 모든 목적의 결합된 가치를 추정하는 단일 (통합형, unified) 비평가 (critic)를 사용할 것인지, 아니면 서로 분리된 보상 신호 (reward signals)를 가진 별도의 (이중형, dual) 비평가들을 사용할 것인지에 관한 것입니다. 우리는 NVIDIA Isaac Lab 환경에서 Unitree G1 휴머노이드 (23개의 능동 자유도 (DoF))를 대상으로, 정지 상태에서의 도달 (reaching)부터 가변 방향 타겟을 향한 보행까지 13단계의 순차적 커리큘럼을 통해 이동-조작 정책을 학습시키며 통제된 비교 연구를 제시합니다. 표준화된 평가에서, 이중 비평가 (dual-critic) 정책은 통합 비평가 (unified-critic) 정책에 비해 타겟에 3.5배 더 빠르게 도달하며 (6.5 대 22.6 시뮬레이션 스텝), 2배 더 높은 처리량 (1,000 스텝당 검증된 도달 횟수 14.3 대 7.0)을 달성하고, 더 높은 검증된 도달률 (65.2% 대 53.8%)을 기록했습니다. 특히, 추가적인 안티-게이밍 (anti-gaming) 보상 메커니즘은 구조적 변화만으로 얻은 개선 이상의 추가적인 향상을 제공하지 못했습니다 (60.9% 대 65.2%). 이러한 결과는 모방 학습 (imitation-learned)된 정책의 강화학습 (RL) 미세 조정 (fine-tuning)이라는 신흥 패러다임에 직접적인 시사점을 줍니다. 즉, 사전 학습된 조작 정책을 강화학습으로 정교화할 때, 통합 비평가는 상충하는 이동 (locomotion) 그래디언트 (gradients)를 통해 학습된 행동을 억제할 위험이 있습니다. 이러한 발견은 비평가 구조가 다중 목적 휴머노이드 강화학습 (RL)에서 주요하면서도 종종 간과되는 설계 선택지이며, 도달 효율성에 있어 보상 엔지니어링 (reward engineering)보다 더 큰 영향을 미친다는 것을 입증합니다.