로봇의 빠른 제어 루프(Fast Loop)에는 LLM이 필요하지 않습니다

어제 새로운 로보틱스 논문이 발표되었는데, 보통이라면 제가 각주를 확인하게 만들 법한 주장을 담고 있습니다. TurboVLA는 RTX 4090에서 32 Hz의 속도로 시각-언어-행동 (Vision-Language-Action, VLA) 정책을 실행하며, 0.9 GB의 추론 VRAM을 사용하고, LIBERO 데이터셋에서 평균 97.7%의 성공률을 보고했습니다.

이것이 사실이라면 결코 작은 최적화가 아닙니다. 이는 로보틱스 스택이 조용히 끌어안고 있던 질문에 대한 색다른 답변입니다.

로봇이 보고, 명령을 이해하고, 움직이는 사이의 중앙 인터페이스로 거대 언어 모델 (Large Language Model, LLM)을 사용해야 할까요?

TurboVLA의 대답은 기본적으로 '아니오'입니다. 언어는 유지하세요. 시각도 유지하세요. 명령 조건화 (Instruction conditioning)도 유지하세요. 다만, 작업이 매 31밀리초마다 개방형 언어 추론 (Open-ended language reasoning)을 실제로 필요로 하지 않는 한, 수십억 개의 파라미터를 가진 언어 모델을 내부 제어 루프 (Inner control loop)에 넣지는 마세요.

그렇게 표현하니 당연하게 들립니다. 많은 훌륭한 시스템 작업들이 그렇습니다.

일반적인 VLA 경로는 잘못된 곳에서 비용이 많이 발생합니다

시각-언어-행동 (Vision-Language-Action, VLA) 모델은 카메라 관측값, 자연어 명령, 그리고 로봇 행동을 연결하는 정책 (Policy) 군입니다. 일반적인 형태는 V(시각)에서 L(언어)을 거쳐 A(행동)로 이어지는 구조였습니다. 시각 정보가 언어 모델 표현으로 투영되고, 명령이 여기에 결합되며, LLM이 결합된 상태를 처리하고, 어떤 행동 헤드 (Action head)가 그 결과를 로봇 명령으로 변환합니다.

이 방식은 의미론적 일반화 (Semantic generalization)를 얻을 수 있습니다. 하지만 동시에 모델에서 가장 비용이 많이 드는 부분을 지연 시간 (Latency)이 가장 치명적인 곳에 배치하게 됩니다.

만약 로봇이 이미 "그릇 세 개를 쌓으세요"와 같은 명령을 실행 중이라면, 내부 루프 (Inner loop)는 처음부터 계획을 새로 짜는 것이 아닙니다. 대부분의 경우 명령을 현재 장면(Scene)에 결합하고 다음 행동 청크 (Action chunk)를 생성하기만 하면 됩니다. 이 논문의 유용한 가설은 이러한 실행 수준의 작업이 LLM 형태의 병목 현상 (Bottleneck)을 필요로 하지 않는다는 것입니다.

TurboVLA는 경로를 직접 V와 L에서 A로 변경합니다. 이는 이미지와 지침을 분리하여 인코딩하고, 가벼운 양방향 교차 어텐션(bidirectional cross-attention)을 통해 상호 작용하게 한 다음, 간결한 ACT 스타일 디코더(ACT-style decoder)를 사용하여 연속적인 액션 청크(action chunks)를 디코드합니다. 보고된 LIBERO 설정에서 이 전체 온라인 정책은 약 0.2B 파라미터 규모입니다.

단순한 번역이 화려한 번역보다 더 좋습니다. 로봇은 여전히 작업을 이해하지만, 움직일 때마다 범용 텍스트 생성기(general-purpose text generator)에 비용을 지불하지 않습니다.

수치가 핵심이지 장식이 아닙니다

LIBERO에서 TurboVLA는 Object, Spatial, Goal, Long 스위트 전반에 걸쳐 평균 97.7%의 성공률을 보고합니다. 논문은 이를 동일한 RTX 4090 측정 환경에서 훨씬 더 큰 VLA 정책과 비교했습니다. π0.5는 평균 96.9%의 성공률, 3.4B 파라미터, 12.8 GB VRAM, 그리고 93.6 ms의 지연 시간(latency)으로 기록되었습니다. TurboVLA는 0.2B 파라미터, 0.9 GB VRAM, 그리고 31.2 ms의 지연 시간입니다.

이것이 주목할 만한 부분입니다. 97.7이라는 숫자가 마법의 숫자이기 때문이 아닙니다. 벤치마크는 벤치마크일 뿐입니다. 효율성 증가는 단순히 약한 작은 정책을 만들었기 때문에 나타나는 것은 아닌 것 같습니다. 이 모델은 LLM 코어를 실행에서 제거하면서도 경쟁력을 갖추고 있습니다.

논문은 또한 보고된 설정 하에서 π0.5가 57.0%를 기록한 것에 비해, TurboVLA가 50개의 양손 작업(bimanual tasks)에 걸쳐 RoboTwin 2.0에서 평균 60.2%의 성공률을 보고했다고 합니다. 실제 환경에서의 AgileX Piper 테스트에서 TurboVLA는 LIBERO 체크포인트로부터 네 가지 작업에 대해 각 작업당 65개의 시연(demonstrations)으로 미세 조정된 후, 각 작업당 40번의 시도로 평가되었습니다. 보고된 성공률은 각각 92.5%, 80%, 90%, 그리고 87.5%였습니다.

저는 이 실제 환경 수치들을

언어(Language)를 제거하면 LIBERO의 평균 성공률이 97.7%에서 70.8%로 떨어지며, Goal 스위트는 97.4%에서 11.6%로 급락합니다. 학습된 태스크 ID 임베딩(task-ID embedding)이 성능의 상당 부분을 회복시키기는 하지만, 여전히 의미론적 지시문(semantic instructions)보다는 낮은 수준에 머뭅니다. 따라서 모델은 단순히 태스크 라벨을 암기하여 시각적 사전 지식(vision priors)에 의존하며 편하게 가고 있는 것이 아닙니다.

더 좁은 범위의 주장이 더 타당합니다. 언어는 중요합니다. 거대한 생성형 언어 모델(Generative Language Model)이 적절한 실행 기질(execution substrate)은 아닐 수 있습니다.

상호작용 모듈(interaction module) 또한 중요합니다. 단순한 연결(concatenation) 방식은 평균 95.2%의 성공률을 보입니다. 단방향 교차 주의 집중(one-way cross-attention)은 이를 개선합니다. 양방향 시각-언어 상호작용(bidirectional vision-language interaction)은 97.7%에 도달합니다. 이는 로봇 공학 논문 내에서 얻을 수 있는 유용한 시스템적 교훈입니다. 값비싼 범용 코어(general core)를 제거하려면, 교차 모달 추론(cross-modal reasoning)을 삭제하고 디코더(decoder)가 알아서 해결하기를 바랄 것이 아니라, 적절하고 더 작은 인터페이스로 대체해야만 합니다.

이것은 에이전트(Agent)에 대한 교훈이기도 합니다

에이전트 시스템에서도 동일한 패턴이 계속 나타납니다. 사람들은 설명하기 가장 쉬운 아키텍처라는 이유로 가장 큰 모델을 가장 빈번한 루프(hottest loop)에 배치합니다. 모델은 플래너(planner), 파서(parser), 상태 머신(state machine), 비평가(critic), 메모리 계층(memory layer), 재시도 정책(retry policy), 그리고 때로는 세상에서 가장 값비싼 if 문이 되어버립니다.

그 방식은 작동합니다. 지연 시간(latency), 비용, 그리고 영향 범위(blast radius)가 실제 제품의 제약 조건이 되기 전까지는 말입니다.

TurboVLA는 동일한 교정 과정을 거친 로봇 공학 버전입니다. 광범위한 추론이 필요한 곳에는 거대한 의미론적 메커니즘(semantic machinery)을 사용하십시오. 기본적으로 모든 실행 단계를 그것을 거쳐 가도록 만들지 마십시오. 일단 태스크가 지정되면, 루프는 적절한 입력과 적절한 피드백 주기(feedback cadence)를 가진 작은 정책(policy)을 원합니다.

"에이전트" 시스템이 채팅창을 벗어나 브라우저, 터미널, 티켓, 예산, 그리고 로봇을 직접 다루기 시작함에 따라 이러한 구분은 더욱 중요해질 것입니다. 값비싼 모델은 무엇을 해야 할지 결정할 수 있습니다. 빠른 경로(fast path)는 종종 더 좁고, 검사 가능하며, 기계 근처에서 실행하기 쉬운 것이어야 합니다.

32Hz의 로봇 정책은 크론 잡(cron job)보다 훨씬 더 극적으로 이 점을 시사합니다.

다음에 주목해야 할 부분

당연히 뒤따르는 다음 질문들은 TurboVLA가 모든 표(table)에서 모든 모델을 이기는가에 대한 것이 아닙니다. 그 질문들은 더 실무적입니다.

명령 공간(instruction space)이 더 복잡해질 때, 직접적인 V(Vision) + L(Language) to A(Action) 설계가 계속 작동할까요? 실행 수준의 조작(execution-level manipulation)을 넘어 재계획(replanning), 도구 선택(tool choice), 또는 모호한 실패로부터의 복구(recovery)가 필요한 작업까지 얼마나 확장될 수 있을까요? 느린 플래너(slow planner)와 빠른 컨트롤러(fast controller) 사이의 깔끔한 핸드오프(handoff)는 어디에 있을까요?

마지막 경계가 아마도 유용한 작업이 위치하는 지점일 것입니다. "로봇을 위한 LLM" 대 "로봇을 위한 LLM 미사용"이 아닙니다. 그러한 프레임워크는 너무 투박합니다.

더 나은 설계 질문은 LLM이 어디에 위치해야 하는가입니다.

만약 그 답이 "31ms 루프 내부가 아니다"라면, TurboVLA는 상당히 설득력 있는 근거가 됩니다.

출처: TurboVLA: Real-Time Vision-Language-Action Model at 32 Hz on an RTX 4090 with <1 GB VRAM. 코드: H-EmbodVis/TurboVLA.