로봇에게 "로비를 나가서 복도를 똑바로 가다가, 오른쪽 탕비실로 들어가줘"라고 말을 걸면, 그 말대로 움직인다. 여기까지는 놀랍지 않다. 놀라운 점은 그 발밑에 LiDAR도 깊이 카메라(Depth Camera)도 사전 지도도 없으며, 있는 것이라고는 일반적인 RGB 카메라 1대뿐이라는 점이다. Mistral이 7월 8일에 공개한 Robostral Navigate는 8B 규모의 VLM(Vision-Language Model, 이미지와 언어를 동시에 다루는 모델)으로 로봇의 경로 이동을 수행한다. 오픈 웨이트(Open Weights)의 기수였던 Mistral이 처음으로 로보틱스(Robotics) 분야에 발을 들인 모델이기도 하다.

실내를 자율 주행하는 로봇은 지금까지 센서의 물량으로 밀어붙여 왔다. LiDAR로 주변 거리를 측정하고, 깊이 카메라로 벽과의 간격을 조절하며, SLAM으로 미리 방의 지도를 만들어 둔다. 정밀도는 높지만 하드웨어 비용이 많이 들고, 새로운 건물에 가져갈 때마다 지도 제작부터 다시 해야 하는 번거로움이 있다.

이 "언어로 지시된 경로를 지도 없는 연속 공간에서 따라가는" 과제는 연구 분야에서 VLN-CE(Vision-and-Language Navigation in Continuous Environments)라고 불려 왔다. Robostral이 평가에 사용하는 R2R-CE는 Matterport3D의 실측 데이터 위에 구축된 대표적인 벤치마크로, "지시문을 하나 전달받아 본 적 없는 방을 연속적으로 걷는" 설정을 측정한다. 여기서 나오는 점수가 직접적인 지표가 된다.

Mistral의 주장은 다음과 같다. 학습에 사용하지 않은 환경(validation unseen)에서 성공률 76.6%를 기록했다. 이는 기존의 카메라 1대 방식보다 9.7포인트 높으며, 깊이 센서나 여러 대의 카메라를 탑재한 다중 센서 방식보다도 4.5포인트 앞선 수치다. 즉, 센서를 줄였음에도 정밀도에서 승리했다는 뜻이다. 학습된 환경(seen)에서는 79.4%를 기록했다.

흥미로운 점은 왜 VLM이 로봇을 조종할 수 있는가 하는 부분이다. Robostral은 처음부터 만든 전용 모델이 아니라, Mistral이 보유하고 있던 "그라운딩(Grounding)용 VLM"(이미지 속의 사물을 가리키거나, 개수를 세거나, 위치를 특정하는 데 특화된 모델)을 출발점으로 삼고 있다. 이 "가리키는" 능력이 그대로 조종 인터페이스가 된다.

행동을 출력하는 방식은 이단계 구조로 되어 있다. 기본적으로는 현재 찍히고 있는 카메라 영상 속에서 "다음에 향해야 할 지점"의 이미지 좌표와 그곳에서의 방향을 예측한다. 이는 그라운딩 VLM이 원래 수행하던 "이미지 내 좌표 맞추기" 작업과 거의 동일하기 때문에, 기존 능력을 그대로 전용할 수 있다. 목표물이 시야 밖으로 벗어났을 때만 로봇 기준의 상대적인 오차(예: "2m 전진, 1.5m 왼쪽, 25도 왼쪽으로 회전"과 같은 수치)로 폴백(Fallback)한다.

지시: "로비를 나가서 복도를 지나, 오른쪽 탕비실로"
입력: 현재의 RGB 프레임 1장 + 위의 지시문
출력①: 이미지 좌표 (x, y) + 방향 ← 목표가 보일 때
...

이 부분은 강조해 두고 싶다. 로봇 제어를 "새로운 제어 법칙"이 아니라 "VLM이 잘하는 픽셀 좌표 예측" 문제로 재정의한 것이 본질이며, 이는 LLM/VLM 분야의 엔지니어가 가진 도구들을 그대로 활용할 수 있는 영역이라는 의미다.

학습 데이터는 모두 시뮬레이션에서 유래되었으며, 실제 로봇을 통한 수집은 없다. 규모에 대해 공식 블로그는 약 240만 개의 궤적(Trajectory)과 35만 개의 장면(Scene)이라고 밝힌 반면, MarkTechPost의 기사는 약 40만 개의 궤적과 6,000개의 장면이라고 보도하여 수치에 차이가 있다. 이 경우 1차 정보인 Mistral 공식 값을 따르는 것이 타당하겠으나, 자릿수가 다르다는 점은 염두에 두어야 한다. 어찌 되었든 "실기(Real robot) 없이 시뮬레이션만으로 학습하여 그대로 현실에 적용한다"는 설계 방침 자체가 핵심이다.

학습을 진행하는 과정에서의 기법 중 두 가지가 실무적으로 매우 유용하다. 하나는 프리픽스 캐시(Prefix Cache)로, 학습에 흘려보내는 토큰을 22배 줄이면서도 학습 신호는 유지한다고 Mistral은 설명한다. 연속 이동처럼 전반부의 관측 데이터가 끊임없이 공통되는 궤적에서는 이러한 중복 계산 압축이 효과적이다. 또 다른 하나는 후반부의 온라인 강화학습(Online Reinforcement Learning)으로, CISPO라는 알고리즘을 사용하여 시행착오를 통한 복구 및 탐색적인 행동을 학습시킴으로써 성공률을 3.2% 추가로 끌어올렸다.

Robostral Navigate는 바퀴형 로봇, 다리형(legged) 로봇, 그리고 비행 플랫폼(aerial platforms)에서 작동하며, 서로 다른 로봇의 크기와 신체 비율에 적응한다.

바퀴형, 다리형, 비행형 중 무엇이든, 기체 크기가 달라도 작동한다는 것이 공식적인 입장이다. 단안 RGB라는 최소한의 입력으로 범위를 좁힌 것이, 역설적으로 플랫폼을 넘나드는 범용성을 만들어냈다는 논리는 타당하다.

간과해서는 안 될 점이 있다. Robostral Navigate는 공개 시점에 오픈 웨이트(open weights)나 공개 API 형태가 아니며, 엔터프라이즈 문의를 통한 액세스로 제한된다. Apache 2.0 라이선스로 가중치(weights)를 배포해 온 Mistral로서는 보기 드문 행보인데, 이것이 robotics(로보틱스)라는 물리 세계와 접하는 영역이기 때문의 신중함인지, 아니면 단순히 상업적 가치가 높기 때문인지는 현재 공개된 정보만으로는 판단할 수 없다. 직접 테스트해 볼 수 있는 것이 아니라는 전제는 처음에 짚고 넘어가야 한다.

그럼에도 불구하고, 여기서 얻을 수 있는 설계상의 교훈은 robotics에만 국한되지 않는다. 기존의 그라운딩 VLM(Grounding VLM)이 가진 '이미지 내의 점을 가리키는' 능력을 행동 출력 인터페이스로 그대로 재사용한다는 발상은, GUI 조작 에이전트나 화면상의 요소를 클릭하게 하는 툴 제어(tool control) 계열에서도 똑같이 응용 가능하다. 새로운 능력을 처음부터 학습시키기보다, 모델이 이미 가지고 있는 입출력 형태에 '태스크(task) 측을 맞추는' 것이다. Robostral이 76.6%라는 점수를 기록한 이면에서 수행하고 있는 것은, 결국 그러한 원리다.

1차 소스: