젠슨 황과 함께한 네 대의 Microducks 라이브 데모가 큰 화제가 되었지만, 오해를 풀고자 합니다.

Jensen Huang과 함께한 네 대의 Microducks 라이브 데모는 완전히 바이럴(viral)되었고 저희는 이에 매우 기쁩니다. 하지만 많은 혼란도 존재하기 때문에, 제가 Microduck이 무엇을 할 수 있고 무엇을 할 수 없는지, 그리고 미래에 현실적으로 무엇을 할 수 있을지에 대해 명확히 설명하고자 합니다.

제가 소셜 미디어에서 본 몇몇 큰 게시물들을 기준으로 이 데모만으로 6천만(60M+) 이상의 조회수를 기록했으며, 모든 것이 뜨거운 관심을 받고 있습니다. 제가 새로 만든 Instagram 계정의 간단한 감성 디자인 포스팅조차도 1백만(1M+) 이상의 조회수를 얻었습니다. 저희는 역사적인 출시 때보다 더 빠르게 Microducks를 판매하고 있습니다. 저는 소셜 미디어에서 보는 모든 질문에 답하려고 노력해 왔습니다. 사람들은 로봇에게 X나 Y가 가능한지 묻고 있으며, 이 게시물은 그 질문들 대부분에 답변을 제공하는 것을 목표로 합니다.

우선적으로 말씀드리자면, 여러분이 보신 데모는 완전한 자율(autonomous) 작동이 아니었습니다. 저희 엔지니어 한 명이 각 Microduck을 조종했습니다. 로봇들의 움직임은 강화학습 (RL)을 사용하여 시뮬레이션-실제 환경 파이프라인(sim-to-real pipeline)으로 훈련되었습니다. 여기에는 걷기, 넘어진 후 일어서기, 앉기, 공중제비 돌기, 롤러스케이트 타기가 포함됩니다. 이 모든 것은 이러한 방식으로 훈련된 정책들입니다. 라이브 이벤트 동안 조종사들이 한 것은 명령을 전송하는 것이었습니다: 방향(앞으로 이동, 회전), 머리 방향(여기를 바라보기), 꽥꽥거리는 소리(quacks), 그리고 특별한 동작(공중제비 돌기, 앉기)입니다.

만약 Microduck을 구매한다면, 박스에서 바로 자율적인 동반자를 얻게 될까요? 현재 답변은 '아니오'입니다. 하지만 여기에 도달하는 데 불가능한 기술적 장벽은 없습니다. 출시 전에 이 작업을 수행할 수 있는 시간이 얼마나 될지는 모르겠지만, 모든 것이 오픈 소스(open source)이기 때문에 저는 커뮤니티가 이를 구축하고 빠르게 구축해 줄 것이라고 전적으로 기대합니다.

이제 무엇이 이미 완료되었는지, 무엇을 추가하기 쉬운지, 그리고 어떤 것이 아직 해결되지 않은 문제인지 알아보겠습니다. 상자에서 바로 할 수 있는 것(out of the box)이자 현재 시뮬레이션에서도 이미 수행할 수 있는 것은 강화학습 (RL)을 사용하여 새로운 정책(policies)을 훈련하는 것입니다. 저희가 제공하는 기본 보행(default gait)과는 다르게 걷도록, 이상한 춤을 추도록, 또는 기둥 위를 걷도록 오리에게 가르칠 수 있습니다. 커뮤니티는 시뮬레이터만 가지고 있음에도 불구하고 이 부분에서 엄청난 창의성을 보여주었습니다.

움직임이 단순할 때는 강화학습이 필요하지 않다는 점에 유의하십시오. 예를 들어, 제가 초기에 진행했던 감정 디자인은 대부분 코딩된 움직임과 사전 생성된 사운드로 이루어져 있습니다. 간단한 사고 모델: 균형(balance)이 움직임의 일부일 때 강화학습을 사용하세요.

만약 단순히 발을 하나씩 앞에 놓는 방식으로 영화 같은 걸음걸이를 코딩하려고 한다면, 로봇은 현실적으로 걷지 못할 것입니다. 왜냐하면 움직임의 동역학(dynamics), 센서의 부정확성, 지면과의 마찰력, 그리고 밀침과 같은 외부에서 발생할 수 있는 잠재적 교란(perturbations)까지 고려해야 하기 때문입니다.

따라서 새로운 정책을 훈련하는 것은 확실히 가능하지만, 집에서 진정한 장기적인 동반자를 얻기 위한 정책은 훈련할 수 없습니다 (물론 기술적으로는 가능하지만, 이는 완전히 다른 범위의 정책입니다. 연구 수준의 문제이며, 그 결과로 나오는 신경망(neural network)은 아마도 거대하여 그렇게 작은 컴퓨팅 환경에서는 실행될 수 없을 것입니다). 대신, 음성 인식(voice recognition), 얼굴 감지/인식(facial detection/recognition), 위치 파악(localization), 간단한 내비게이션, 그리고 기술적으로 설명하기 어렵고 덜 기술적인 행동 계층(behavior layer)과 같은 몇 가지 추가 구성 요소가 필요합니다.

경험적으로 볼 때, 이들 중 어떤 것의 프로토타입이든 현대적인 코딩 에이전트(coding agent)를 가지고 있고 연산이 로봇 자체에서 이루어지지 않는다면(즉, 로봇이 인터넷이나 외부 컴퓨터에 연결하여 외부 API를 사용할 수 있다면) 누구나 만들 수 있는 수준입니다. 위에 언급된 각 항목의 대략적인 프로토타입은 주말 동안 재미있게 해볼 만한 프로젝트가 될 수 있습니다. 늘 그렇듯이, 프로토타입을 고품질 구현으로 옮기는 것은 또 다른 이야기이지만, 시간과 많은 테스트를 거친다면 대부분의 사람들에게는 여전히 가능한 일입니다.

하지만 이 모든 것을 온보드 칩(onboard chip)에서 로컬로 구동하는 것은 매우 어려운 작업이라고 생각합니다. 모든 것이 제대로 작동하도록 하려면 매우 영리한 엔지니어링이 필요할 것입니다. 하지만 불가능하다고 말할 수는 없습니다. 왜냐하면 저는 위 모든 것들에 대해 엄청나게 효율적인 구현 사례들을 봤기 때문입니다. 그리고 여기서는 초고도의 성공률이 필요하지 않습니다. 오리가 가끔 약간 무작위적인 행동을 해도 괜찮습니다. 따라서 사람들이 완전히 로컬화되고, 멋지고, 간단한 버전의 자율 동반자를 만들어낼 것이라고 놀라지 않을 것 같습니다. 예를 들어, Whisper급 개방형 어휘 전사(open-vocabulary transcription)가 필요하지 않습니다. 몇 가지 키워드를 인식할 수만 있어도 상호 작용에 이미 훌륭합니다.

이 로봇을 자율적인 동반자로 변환하는 가장 빠른 방법 중 하나는 Microduck의 센서(카메라, 깊이 센서, IMU 및 관절 위치)를 컴퓨터로 스트리밍하고, Reachy Mini의 대화 앱에 사용하는 것과 같은 소프트웨어 스택을 활용하는 것입니다. 이 스택은 로컬 VAD(음성 활동 감지), 클라우드 음성-텍스트 변환 모델, 그리고 행동을 결정하는 프론티어 LLM(대규모 언어 모델) 호출로 구성됩니다. 수행할 수 있는 행동에는 꽥꽥거림, 사물/얼굴/방향 보기, 특정 위치로 걷기, 앉기, 감정 표현하기, 발차기 또는 공중제비가 있습니다. 또한 SLAM 알고리즘이 병렬로 실행되어 로봇이 집 안에서 자신의 위치를 파악할 수 있게 하며, 사용자는 LLM에게 생생한 행동을 요청할 수 있습니다. 예를 들어 무작위 장소로 이동하거나, 때때로 사람들을 따라다니거나, 사용자 발언과 오리 환경에 맞는 감정적 반응을 보이는 식입니다. 물론 누군가는 이 위에 타마고치(Tamagotchi)와 같은 레이어를 구축할 것이고, 그건 정말 엄청날 것입니다.

이 모든 것을 수행하는 소프트웨어 제품군은 얼마나 큰 수요가 있을까요? 저 개인적으로는 매우 멋진 아이디어라고 생각합니다.

사람들에 대한 이야기가 있습니다. 저희 뒤편에는 5명의 엔지니어가 있었는데, 이들이 Microduck의 핵심 팀입니다. 각 인력의 영향력은 정말 엄청납니다. Antoine Pirrone이 Graphite를 조종했고, Augustin Crampette가 Lavender(반항적인 캐릭터)를 맡았으며, Matthieu Lapeyre가 Sky를 담당했고, Coralie Deplane이 Cream을 맡았고, Pierre Rouanet은 와이파이에 대해 스트레스를 받았습니다. 이분들을 팔로우해 주세요! (Antoine @antoinepirrone, Augustin는 LinkedIn에서, Matthieu @matth_lapeyre, Coralie @Drenaya_, Pierre는 LinkedIn에서).

저는 소통을 많이 하기 때문에 주목도가 높지만, 주로 Reachy Mini에 집중하고 있습니다(확인해 보시는 게 좋을 것 같습니다. 매우 멋진 로봇이며 Microduck보다 훨씬 빠르게 출하됩니다 :) ). Microduck에 대한 저의 기여도는 미미했습니다. 저는 대부분 첫 번째 파워 유저에 가깝습니다. GTC에서 제가 추가적으로 기여한 가장 큰 가치는 무대 아래에서 네 대의 Microducks를 들고 다닐 만큼 충분히 큰 손을 가지고 있었다는 점입니다.

제가 자랑스럽게 생각하는 점은 Antoine과 Coralie가 저의 전 학생이자 전 인턴이라는 것입니다. 따라서 그들이 하는 모든 좋은 일에 대해 평생 동안 3%의 크레딧을 받을 자격이 있습니다. 하지만 만약 그들이 나쁜 일을 한다면, 그것은 분명히 부모님들의 잘못입니다.

온보드(on board)에서 수행할 수 있는 매우 똑똑한 엔지니어링에 대해 이야기하자면, Antoine이 아주 멋진 블로그 게시물 두 개를 발표했습니다(아래 링크 참조). 첫 번째는 오도메트리(odometry)에 관한 것으로, 로봇이 자체 내부 센서를 이용해 자신의 움직임을 추정하는 것입니다. 두 번째는 장기적인 위치 파악을 가능하게 하는 SLAM(Simultaneous Localization and Mapping)에 관한 것입니다. 이는 깊이 센서(depth sensor)를 오도메트리에 추가하여 시간이 지남에 따라 안정적인 위치를 얻게 합니다. 마치 집에서 알려진 랜드마크를 인식해서 로봇의 위치를 아는 것과 같습니다. 놀라운 점은 이 모든 것이 로봇 자체에서 실행된다는 것입니다. 따라서 저희가 온보드에서 많은 멋진 일들을 할 수 있을 거라는 희망을 갖게 해줍니다.