“R2R-CE에서 최첨단 성능”이라고 하지만, R2R-CE는 시뮬레이션 환경으로 구성된 벤치마크임을 분명히 해야 함
이 벤치마크를 이기는 건 로봇이 Minecraft나 다른 비디오게임을 잘하게 만드는 것과 비슷한 수준의 의미가 있음. 멋지긴 하지만 로봇은 디지털 환경이 아니라 물리적 현실에서 동작해야 함
현실 세계에서 로봇 시스템 성능을 평가하기는 매우 어려움. 성능이 나쁘면 평가를 끝내기 위해 예비 로봇도 많이 필요해짐
기사에는 매끈한 바닥과 거의 비어 있는 사무실 같은 환경에서 물리 로봇이 2배속으로 이동하는 필수 시연 영상도 들어 있음. 이제 이 분야의 상징처럼 된 장면이고, 끝부분에 세 명이 로봇 경로를 조심스럽게 가로지르는 장면은 가산점감임
하지만 이건 몇 년 전 Aloha를 둘러싼 과장과 비슷함. 대형 기술 기업에 팀을 인수시키거나 멋진 기술을 더 연구할 자금을 얻기에는 좋지만, 집이나 사무실을 돌아다니는 로봇 가정부/집사로 가는 실질적 진전이라고 기대하기에는 부족함

암시상으로는, 그리고 사실이길 바라지만, 이건 지도 없는 내비게이션으로 보임. 그렇다면 인상적임
환경을 미리 캡처한 지도가 있으면 이런 작업은 훨씬 쉬움. 하지만 지도 없이 한다면 대단함
예전에는 로봇이 자기 위치를 모르면 조금도 이동하지 못하는 “납치된 로봇” 문제가 늘 있었음. 여기서는 현재 시야에서 해석 가능한 지시이거나 추측 항법으로 따라갈 수 있는 한, 로봇이 지시를 수행하는 것처럼 보임

Mistral 로보틱스 팀에서 일하고 있는데, 이건 지도 없는 방식이 맞음. 입력은 텍스트 프롬프트와 전면 RGB 카메라 이미지뿐임

현대적인 SLAM이나 VSLAM이면 그 문제를 해결하지 않나?

센서를 전혀 쓰지 않고 실제 기하 구조도 없이 최근 순전파 토큰 정도만 가진 상태라면, 미리 캡처한 지도가 있을 때 왜 훨씬 쉬워지는지 설명해 줄 수 있나?

일종의 탐색 노드를 만드는 건 매우 흥미로울 듯함. 이동하면서 의미론적 SLAM 문제를 푸는 식임
“이 층에서 엘리베이터를 찾아”라고 지시하면, 돌아다니며 지도를 만들고 사람이 엘리베이터를 찾는 방식처럼 행동할 수 있을까?
현재 이런 내비게이션 모델은 지시 작성자가 유용한 시각적 이동 기준점을 아주 잘 알고 있다고 가정하는데, 대부분의 사용 사례에서는 현실적이지 않음

실제로 이걸 만져볼 수 있는 현실적인 경로가 궁금함. 취미 실험용으로 OpenClaw에 연결해 보고 싶음
꿈은 OpenClaw를 농장 로봇에 넣는 것임. 가파른 언덕 제초용 궤도식 RC 잔디깎이를 개조해서, “울타리선을 탐색하며 식물 사진을 찍고, 옻나무와 침입성 인동덩굴을 모두 찾아 Roundup 분무기로 뿌리고, 매주 반복한 뒤 종 분포 지도를 보고하고, 배터리가 부족하면 헛간으로 돌아와 충전해” 같은 작업을 맡기고 싶음
OpenClaw를 로봇 몸체에 넣는 건 어렵지 않음. YouTube에도 그런 영상이 많음. 하지만 실제로 사람들이 만든 것을 파고들면 이동 부분이 항상 가장 투박하고, 내 실험에서도 마찬가지였음
이런 8B 모델은 경로 설정과 내비게이션 문제를 해결하기에 딱 좋아 보임
Mistral이나 비슷한 회사에 더 익숙한 사람이 있다면, 이들이 이런 취미 제작자 실험에도 관심이 있는지 궁금함. 아니면 주로 상업 파트너만 찾는 걸까? 실험에 쓰기 위해 라이선스 비용을 낼 의향은 있지만, 혼자 하는 개인이라면 사업화하지 않는 한 협력해 주지 않을지도 모르겠음

이걸로 OpenClaw 같은 로봇을 만들면 멋지겠지만, 지금 모델은 텍스트로 걷기/환경 이해를 하는 데 초점이 있어 보임. 로봇이 세상과 상호작용하게 하려면 무엇을 쓸 수 있을까?

나처럼 궁금한 사람이 있을까 봐, 지금까지 알아낸 것을 공유함. Mistral Discord에 가서 Miscord 봇에게 물어봤더니, 현재 공식 발표와 문서는 주로 Airbus, BMW 같은 기업·산업 파트너십에 초점이 맞춰져 있다고 답했음
그래도 Robostral Navigate는 하드웨어 독립적으로 설계되어 어떤 로봇 플랫폼에도 붙일 수 있고, LiDAR나 깊이 센서 없이 단일 RGB 카메라만 필요하므로 취미 장비에도 이론상 잘 맞음
아직 공개 취미/비상업 라이선스나 오픈소스 릴리스는 없고, 개인용 가격이나 라이선스 단계도 발표되지 않았음. 지금 할 수 있는 일은 Mistral AI에 직접 연락해 “OpenClaw + Robostral Navigate로 개인 실험을 하는 취미 제작자인데 비상업 라이선스를 논의하고 싶다”고 명확히 묻는 것임
Mistral Discord나 포럼을 지켜보는 것도 좋고, 반응이 없다면 ROS나 Habitat 같은 오픈소스 로보틱스 프로젝트에서 비슷한 기능을 구현하는 흐름을 기다릴 수 있음

공개 모델은 아닌 것 같지만, 만약 공개된다면 단일 카메라 내비게이션을 쉽게 쓸 수 있게 되어 멋진 취미 로봇 프로젝트가 많이 가능해질 듯함

아주 멋짐. Mistral 팀 축하함. 야외에서의 지도 없는 내비게이션은 꽤 오래전부터 있었지만, 건물 내부에서의 지도 없는 내비게이션은 비교적 새로운 편임
Stanford 연구자들이 임의의 이미지에서 지리 위치를 맞히는 시각 모델 PIGEON을 훈련한 적이 있음. 스토킹 같은 사생활 악용 가능성이 너무 커서 공개되지는 않았는데, 이 로봇 뒤에도 비슷한 종류의 기술이 들어간 것 같음. 더 아는 사람이 있으면 정정해 주면 좋겠음
PIGEON 논문 링크: https://lukashaas.github.io/PIGEON-CVPR24/

Mistral은 넓게 가면서도 틈새를 공략하는 듯함. 앞으로 영리한 전략일 수 있음

산업 파트너를 위한 맞춤형 자동화에 많이 투자하고 있으니, 이건 그들의 도구함에 반가운 추가물이 될 것임

충분히 훌륭한 전략일 수 있음. 순수 연산력으로는 Anthropic이나 OpenAI를 따라가기 어렵지만, 그만큼의 힘이 필요 없는 응용이 아주 많고 속도와 에너지 효율에 최적화하는 편이 더 나은 경우도 많음

이들이 이익 동기 대신 내 세금으로 돌아가기 때문임

매우 미니멀해서 인상적임
한편으로는 2010년쯤 학계 연구자들과 Willow Garage가 올리던 로봇 시연 영상이 떠오름
로보틱스의 문제는 그럴듯해 보이는 시연을 만들기는 쉽지만, 일반적인 경우에 제대로 동작하게 만들기는 정말 어렵다는 것임. 자율주행이 좋은 예임

로보틱스는 결국 엣지 케이스가 전부임. 작업의 95%를 완벽하게 해내는 로봇이 이미 가능한 응용은 많지만, 그래도 충분하지 않음. 마지막 5%가 너무 넓어서 메우기 불가능에 가까움

저녁을 만들고 설거지하고 쓰레기를 내다 버리는 가정용 도우미 로봇을 기다릴 준비는 되어 있음
다만 그런 도우미들이 나를 위해서든 나를 상대로든 전쟁에 동원될 때가 무서움

솔직히 많은 기능은 괜찮지만, 주류 로봇은 무겁고 아이들 위로 넘어질까 봐 걱정됨. 아이들은 기계 입장에서는 예측 불가능하지만, 대부분의 부모에게는 어느 정도 예상 가능함
우리의 센서 샘플링 속도와 지능의 추론 속도는 현재 최고 수준 로봇보다 몇 자릿수나 앞서 있음. 지금은 사람이 훨씬 정교하고 유능함
충분히 가벼운 장치가 가능하길 바라지만, 배터리 무게 요구사항을 생각하면 어떻게 가능할지 잘 모르겠음

후자가 전자보다 훨씬 먼저 올 것 같음

드론에 폭파당하러 사람이 가는 대신 로봇을 보낸다면 오히려 안심해야 할지도 모름

전자는 꽤 오래 기다려야 할 듯함. 로봇이 헷갈릴 때마다 낯선 사람이 원격 조작으로 집 안을 돌아다녀도 괜찮다면 모르겠지만

집마다 지능형 휴머노이드 로봇 한 대라니, 정말 뭐가 잘못될 수 있겠나. 아마 최악의 아이디어일 가능성이 큼

“R2R-CE(Room-to-Room in Continuous Environments)에서 76.6% 달성”이라는데, 나머지 23.4% 동안 무엇을 했는지가 궁금함

“다음 방으로 가”라고 했는데 문이 두 개 있거나, “정수기에서 돌아”라고 했는데 싱크대가 있는 식의 문제가 가장 클 것 같음. 물론 늘 그렇듯 마지막 1%가 또 다른 99%만큼 어려움
결과 그래프가 있는 페이지에서 내비게이션 오류를 보면 이 질문에 가장 관련 있는 지표가 나옴. 그 모델은 “잘못된 방향으로 이동하지 않는” 데는 뛰어나므로, 실패율은 길을 못 알아낸 경우였을 가능성이 큼

아마 다른 방에 도착하지 못했을 것임

이건 정말 멋짐. 로봇이 손가락으로 가리키는 방향을 이용해 어디로 갈지 결정할 수 있다는 점은 훌륭한 설계 결정이고, 로보틱스는 정말 다음 개척지임. Mistral을 확실히 응원하게 됨