DIRECT: Embodied Planners에서 테스트 시간 연산(Test-Time Compute)을 언제, 어디에 할당해야 하는가?

시각-언어 모델 (Vision-Language Models, VLMs)은 체화된 에이전트 (embodied agents)를 위한 상위 수준의 플래너 (planners)로 점점 더 많이 배치되고 있으며, 능력을 향상시키기 위해 테스트 시간 연산 (test-time compute)을 확장하는 전략이 부상하고 있습니다. 그러나 우리는 그렇게 하는 것이 지연 시간 (latency), 토큰 사용량 (token usage), 그리고 FLOPs를 증가시키는 반면, 하위 작업의 성공률에서는 불균형하고 종종 점차 감소하는 이득을 가져와 체화된 에이전트가 배치될 수 있는 범위를 제한한다는 것을 관찰했습니다. 우리는 테스트 시간 연산을 언제, 어디에 사용할지 선택하는 것이 최첨단 성능을 현실 세계로 가져오는 데 핵심적이라고 주장합니다. 우리는 멀티모달 장면 문맥 (multimodal scene context)을 사용하여 프롬프트당 연산을 할당함으로써, 고정된 모델 선택 대비 성공-비용 파레토 프런티어 (success--cost Pareto frontier)를 개선하는 라우팅 프레임워크인 DIRECT를 소개합니다. 사고의 사슬 (chain-of-thought) 깊이, 모델 크기 (model size), 그리고 메모리 이력 (memory history)이라는 세 가지 주요 확장 축에 대해, VLABench 및 RoboMME에서의 실험은 테스트 시간 연산이 균일한 레버가 아님을 보여줍니다: 서로 다른 축은 질적으로 구별되는 능력 향상을 가져옵니다. 우리는 제로샷 조작 (zero-shot manipulation) 및 장기 지평 체이닝 (long-horizon chaining)을 아우르는 DROID 설정의 물리적 Franka 암 (Franka arm)에서 이러한 통찰력을 검증하였으며, 여기서 우리의 라우터는 평균 지연 시간을 최대 65% 낮추면서도 더 강력한 모델의 성공률과 일치하거나 이를 능가합니다. 궁극적으로, 우리의 결과는 테스트 시간 연산을 무분별하게 확장하는 것은 낭비이며, DIRECT가 로봇 시스템에서 비용의 극히 일부만으로 최첨단 수준의 체화된 계획 (embodied planning)을 제공할 수 있음을 보여줍니다. 프로젝트 페이지는 jadee-dao.github.io/direct/에서 확인할 수 있습니다.