VLA는 자신의 추론을 얼마나 신뢰해야 하는가? 측정된 행동 가치 함수로서의 스텝 레벨 가이던스

추론 기반 비전-언어-행동 (VLA) 정책은 먼저 추론 경로(reasoning trace)를 작성한 다음, 그것으로부터 행동을 디코딩합니다. 잘못된 경로는 잘못된 행동을 낳으며, 심지어 올바르게 보이는 경로조차도 계획에 오해를 줄 수 있습니다. 기존의 해결책들은 추론이 맞는지 여부를 묻습니다. 우리는 대신 얼마나 강력하게 방향을 틀어야 하는지를 질문합니다. CoC-CFG는 정책의 컨텍스트와 추론 범위가 없는 동일한 컨텍스트 사이에 클래시파이어 프리 가이던스(classifier-free guidance)를 적용합니다. 오일러 스텝(Euler step)당 하나의 가중치는 추론을 감쇠시키거나 증폭시키며, w=1은 원래의 정책을 복구합니다. 우리는 이 가중치 선택을 마르코프 결정 과정(Markov decision process)으로 취급하며, 여기서 행동 가치들은 부트스트랩되지 않고 측정됩니다. 전문가가 고정되고 노이즈가 고정된 상태에서, 한 스텝에 대한 가중치를 적용하고 현재 컨트롤러 하에서 계획을 완료하는 것은 그 가중치의 값을 정확하게 반환합니다. Q-적응형 가이던스(Q-adaptive guidance)는 작은 크리틱(critics)과 함께 이러한 값들을 맞춰 개선하며, 컨트롤러를 보수적으로 향상시킵니다. Alpasim 주행 시뮬레이터에서 이 방법은 개방 루프(open loop)에서 모든 고정 가중치 및 온라인 강화학습 (RL) (SAC, GRPO)을 능가하며, 폐쇄 루프(closed loop)에서는 원래 정책의 252개 대비 300개 장면 중 262개에 성공합니다. Waymo 종단 간 주행 벤치마크의 제외된 프레임(held-out frames)에서, 이 방법의 처음 세 단계는 모든 고정 가중치, 네 가지 적응형 가이던스 방식, SAC 및 GRPO를 능가합니다. 숨겨진 테스트 세트에서는 규칙 기반 카메라 및 차량 변환을 사용한 고정 Alpamayo 1.5와 Q-적응형 가이던스가 발표된 방법들 사이에서 새로운 최첨단 상태를 설정했습니다: 최고 성능의 발표된 방법 대비 8.079점인 래터 피드백 점수(rater feedback score) 8.135159점을 기록했습니다.