로보틱스를 위한 Gemini 4 Argon

로봇 초보인데 최근 큰맘 먹고 Unitree 휴머노이드를 구매함. 시각 기능이 있는 LLM이 로봇 동작을 간단하게 제어하도록 도구를 만들고 있음.
아직 LiDAR 데이터를 쓰지 않아서인지 Opus와 Astra는 탁자나 침대 등에 부딪혔지만, Argon 4는 벽과 물체를 피하려고 상당히 조심함. 탁자로 가라고 하자 천천히 걸어가 그쪽을 바라보며 위에 놓인 물건들을 설명하기 시작함. 집에서 몇 시간 만에 바이브 코딩으로 만든 결과물이라 꽤 섬뜩하게 느껴짐.

나도 해보고 싶음. 지연 시간은 어느 정도임? LLM이 로봇용 명령 집합을 만드는 구조임? 비틀거릴 때 자세를 바로잡는 반사 동작이 필요하면 어떻게 끼어들어 처리함?

직접 만져보고 싶지만 로봇 해킹이 무서움. 바로 어제도 프랑스 슈퍼마켓의 연결된 냉장고를 해킹해 온도를 올리고 수천만 규모의 식품을 망가뜨렸다는 소식을 접함.
누군가 Unitree 로봇을 해킹해 칼을 집어 주인을 찌르게 한 뒤 거리까지 나가게 하면 어떻게 됨? 아무도 그런 짓을 하지 않을 거라고 하지만, 식품을 망가뜨리는 원격 해킹은 이미 벌어짐. 식품 훼손은 장난일 뿐이고 로봇으로 사람을 해치지는 않을 거라고 정말 믿는 것임? 아니면 이번에는 프로그래머들이 해킹 불가능한 소프트웨어를 만들었다고 믿는 것임?

가격은 얼마였음?

로봇 초보로서 직접 설계한 제설 로봇 시제품을 만들고 있는데(www.frost-e.com), 본격적인 연구에서도 비슷한 접근이 나와 고무적임. 제로샷 제어는 시각 입력 체계와 기본 동작을 마련해 범용 LLM이 미리 정의된 동작으로 로봇을 지휘하는 접근임. https://tml.stanford.edu/homebody/ 등에서도 볼 수 있으며, 모든 작업에 정교한 6자유도 로봇 팔이나 손놀림이 필요한 것은 아니므로 많은 로봇과 작업에 적용 가능해 보임.
시뮬레이션 환경 구축도 유망함. 나는 위성사진으로 부지와 집을 3D로 재구성하고 눈을 내려 가상 로봇이 제설을 배우게 하는 파이프라인을 갖고 있음. 최신 모델이라면 더 정밀한 디지털 트윈을 한층 직접적으로 만들 수 있을 듯함.
자기 개선도 가능함. Argon이나 Astra 같은 모델이 로봇 자체를 직접 운용하지는 못해도, 실제로 사용할 작은 모델에 지식 증류할 데이터를 만들 수는 있을 것임.

제품 시연 영상이 AI로 생성한 영상임? 핵심 시연 영상조차 실제가 아니라면 개인적으로 월 1,000달러짜리 서비스에 가입하지 않을 것임.

SO101으로 써본 사람 있음?

모델 효율이 18개월마다 90% 개선되고 하드웨어의 전력당 성능이 2년마다 두 배가 된다고 가정해도, 스쿨버스보다 작은 로봇에서 Argon을 배터리로 실용적인 시간 동안 실행하려면 아직 10년쯤 남은 것 아님?
제한적인 작업을 넘어 범용적으로 쓸 만한 속도까지 확보하려면 몇 년 더 필요하지 않겠음? 이런 기술을 쓰면서 옛날 진공청소기처럼 콘센트에 꽂는 합리적인 가격의 로봇이라면 5~7년 뒤에는 가능할지도 모르겠음.

95% 이상의 용도에서는 어딘가에 있는 데이터센터와 연결만 되면 된다고 봄. 이동과 균형 유지 등은 로봇에서 작은 모델 하나 또는 여러 개가 맡고, 의사결정과 계획은 원격 서버에 요청하는 구조를 예상함.
로컬 모델이 계획의 일부를 실행하고 넘어지지 않게 할 수 있다면 계획 수립까지 기기 가까이에서 할 필요는 없음. 지연 시간도 큰 장애물이 아닐 것이며, 더 강력한 중앙 연산 자원이 느린 로컬 연산보다 전체 계획 처리 시간에서 오히려 유리해질 수 있음.

언젠가는 모델 성능 개선이 멈출 것임. 이후에는 Taalas가 이미 시도하듯 가중치를 마스크 ROM에 고정한 모델 전용 ASIC으로 최상위 모델을 구현해, 추론 효율을 최소 10배 이상 높일 수 있을 것임.

잘 모르지만 산업용으로는 지금도 가능하지 않겠음? 사내 추론 하드웨어와 로봇을 로컬 네트워크로 연결하면 됨. 로봇 제어에는 모델이 가진 지식 중 상당 부분이 필요하지 않을 것 같기도 함.

최상위 모델은 이미 스쿨버스보다 작은 장비에서 실행 가능함. 더 큰 제약은 수 kW의 전력이며, 아주 고급 하드웨어라면 효율을 두 배 정도 높일 수 있을지도 모름.
독립형 로봇 AI는 일괄 처리의 이점을 크게 누리지 못하므로, LLM은 최대한 상위 수준의 판단만 맡고 하위 시스템은 최대한 자율적으로 움직이도록 해야 함. 둘의 결합은 느슨하게 유지하고 시간에 민감한 처리는 절대 맡기지 않아야 하는데, 로봇에서는 거의 모든 일이 시간에 민감함.

AI 연산 전체를 기기 내부에서 처리해야 하는 용도는 많지 않을 것 같음. 떠오르는 것은 자율주행차와 군사 용도 정도임.

애초에 바닥에 쓰레기를 버리지 않으면 안 됨?

결국 공장을 만드는 공장을 만드는 공장으로 이어질 것임. 이런 개념이라면 Factorio라고 부를 만하며, 이를 소재로 게임을 만들어도 좋겠음.

일부는 모델이 준비될 때를 대비해 바로 그런 일을 한동안 진행해 왔음. 이제 모델도 준비 단계에 가까워지고 있음!

조금 인상적이기는 하지만, Google의 자원이라면 경쟁사를 압도해야 할 것임. 이 지능은 Figure 3만도 못해 보임. Unitree 로봇은 파쿠르를 하는 수준인데, 이 로봇은 고리에 매달아 놓아야 함.