대부분의 일상적인 작업에는 두 손이 필요합니다. 도시락을 싸거나, 병을 열거나, 셔츠를 접는 일 말이죠. 이것이 많은 가사 로봇 공학 (household robotics)이 두 개의 팔로 시작하는 이유입니다.

대부분의 가사 로봇은 일상적인 작업을 처리하기 위해 두 개의 팔이 필요합니다. 단일 팔은 무언가를 집어 올릴 수는 있지만, 도시락을 싸거나 작업을 하는 동안 물체를 안정적으로 유지하려면 두 사지 (limbs)의 협력이 필요합니다. 이 가이드에서는 Drift를 사용하여 단 하나의 프롬프트로 전체 테이블탑 설정을 생성함으로써, MuJoCo에서 ALOHA 로봇을 이용한 양팔 조작 (bimanual manipulation) 장면을 구축합니다.

일상적인 작업에 두 팔이 필요한 이유

도시락을 싸는 모습을 관찰해 보면 양손이 거의 독립적으로 작동하지 않는다는 것을 알 수 있습니다. 한 손은 상자를 열어둔 채 유지하고, 다른 한 손은 그 안에 음식을 넣습니다. 한 손이 고정하면, 다른 손이 동작을 수행합니다. 두 팔 사이의 이러한 협응을 양팔 조작 (bimanual manipulation)이라고 하며, 이는 실제 가계 및 작업장의 작업 중 매우 큰 비중을 차지하는 데 필요한 요소입니다.

단일 팔은 이러한 작업에서 빠르게 한계에 부딪힙니다. 동시에 잡고 배치하는 작업을 수행할 수 없으므로, 한 손이 안정화하는 동안 다른 손이 조작해야 하는 작업이 필요한 순간 두 번째 팔이 필요하게 됩니다. 이는 우리가 이전에 구축했던 단일 팔 집기 및 배치 (single-arm pick-and-place)보다 난이도가 실제로 한 단계 높아진 것인데, 이제 두 팔이 충돌하거나 서로 방해하지 않으면서 협응해야 하기 때문입니다.

ALOHA 양팔 로봇 소개

ALOHA (A Low-cost Open-source Hardware System for Bimanual Teleoperation)는 Stanford에서 개발한 오픈 소스 양팔 로봇 플랫폼으로, 양팔 조작 (bimanual manipulation) 연구에 대한 접근성을 높이기 위해 제작되었습니다. 이 시스템은 공유된 작업 공간 위에 두 개의 팔을 결합하여, 로봇이나 이를 원격 조종 (teleoperating)하는 사람이 양손을 모두 필요로 하는 작업을 수행할 수 있도록 합니다.

이것은 양팔 조작 (two-armed manipulation)을 위한 표준 테스트베드가 되었으며, ALOHA 2 버전의 공식 MuJoCo 모델이 존재합니다. 이것이 바로 시뮬레이션된 양팔 (bimanual) 장면을 위한 자연스러운 선택인 이유입니다. 만약 로봇이 시뮬레이션에서 두 ALOHA 팔을 조율하는 법을 배울 수 있다면, 그 기술은 실질적인 가사 작업으로 직결됩니다.

Drift에게 무엇을 구축하도록 요청했는가

새로운 Drift 프로젝트를 생성한 후, 우리는 단 하나의 프롬프트로 전체 장면을 설명했습니다: 열려 있는 도시락과 음식 아이템이 있는 작업대(workbench)를 생성하고, 향후 양팔 조작 (bimanual manipulation)을 수행할 준비가 된 ALOHA 로봇을 배치하라는 내용입니다.

이 프롬프트는 각 객체의 좌표를 나열하는 대신, 완성된 설정인 작업대, 열린 도시락, 포장할 음식, 그리고 작업을 위해 배치된 양팔 로봇을 설명합니다. 이것이 바로 태스크 수준 프롬프팅 (task-level prompting)의 핵심입니다. 원하는 장면을 설명하면 Drift가 이를 배치하도록 하는 것입니다. 시뮬레이터가 처음이신가요? 먼저 프롬프트 하나로 MuJoCo를 설치하는 방법을 확인해 보세요.

Drift가 테이블탑 장면을 조립하는 방식

단 하나의 프롬프트로부터, Drift는 시뮬레이션 파일들을 생성하고 이를 즉시 실행 가능한 MuJoCo 장면으로 조립합니다. 작업대, 열린 도시락, 그리고 음식 아이템들이 테이블 위에 배치되며, ALOHA 양팔 로봇이 그 옆에 위치하여 조작 (manipulation)을 위한 설정이 완료됩니다.

일반적으로라면 장면 저작 (scene authoring), 로봇 임포트 (importing), 소품 배치, 그리고 월드 구성 (configuring the world)을 위해 거쳐야 할 과정이 단 한 단계로 처리됩니다. 이는 사무실 환경 구축 및 주방 장면 생성에 사용된 것과 동일한 태스크 수준 장면 생성 기술이 양팔 테이블탑 작업에 적용된 것입니다.

장면 구축 이후의 단계

장면 구축 이후의 단계

장면은 작업대(workbench), 도시락통(lunchbox), 그리고 음식들이 이미 제자리에 놓여 있고, ALOHA 양팔 로봇이 준비된 상태로 로드됩니다. 하지만 작업을 구성하는 것이 절반의 도전 과제일 뿐입니다.

더 어려운 절반은 다음 단계입니다: 두 팔이 함께 작동하여 실제로 도시락통을 포장하도록 가르치는 것입니다. 한 팔은 도시락통을 안정적으로 잡고 있는 동안 다른 팔이 각 항목을 놓는 식입니다. 이러한 협응(coordination), 즉 두 팔이 충돌하는 대신 서로 협력하도록 타이밍을 맞추는 것이 양팔 조작(bimanual manipulation)을 진정으로 어렵게 만드는 부분이며, 연구자들이 ALOHA와 같은 플랫폼에서 훈련시키는 행동 유형입니다. Drift가 생성한 환경을 사용하면 테이블을 구축하는 데 시간을 보내는 대신 바로 그 문제로 넘어갈 수 있습니다. 전체 과정은 위의 비디오에 나와 있습니다.

FAQ

양팔 조작(bimanual manipulation)이란 무엇인가요?
양팔 조작은 로봇이 두 개의 팔을 함께 사용하여 작업을 수행하는 것을 의미합니다. 예를 들어, 한 팔이 물체를 안정적으로 잡고 있는 동안 다른 팔이 그 물체에 대해 작업하는 식입니다. 컨테이너를 포장하거나 병뚜껑을 여는 것과 같은 많은 일상적인 작업은 단일 팔로는 할 수 없는 이러한 두 팔의 협응을 필요로 합니다.

ALOHA 로봇이란 무엇인가요?
ALOHA(A Low-cost Open-source Hardware System for Bimanual Teleoperation)는 스탠퍼드에서 개발한 오픈 소스 양팔 로봇 플랫폼으로, 양팔 조작 연구를 저렴하게 만들도록 설계되었습니다. 이는 데모 시연을 수집하고 조작 정책(manipulation policies)을 훈련하는 데 광범위하게 사용되며, ALOHA 2 버전은 공식 MuJoCo 시뮬레이션 모델을 가지고 있습니다.

양팔 조작이 한 팔을 사용하는 것보다 어려운 이유는 무엇인가요?
두 개의 팔은 충돌하지 않으면서 같은 작업 공간에서 협응해야 하며, 종종 한 팔이 물체를 안정화하는 동안 다른 팔이 그것을 조작해야 합니다. 이러한 협응, 타이밍, 그리고 공유 공간 계획(shared-space planning)은 단일 팔의 픽앤플레이스(pick-and-place)보다 훨씬 더 복잡하게 만듭니다.

MuJoCo에서 양팔 조작 (Bimanual Manipulation) 장면을 어떻게 구축하나요?
작업 표면(work surface), 작업에 필요한 물체들, 그리고 두 팔이 모두 작업 공간(workspace)에 닿을 수 있도록 배치된 양팔 로봇 모델을 사용하여 장면을 정의합니다. 이 가이드에서는 Drift가 단 하나의 프롬프트만으로 ALOHA 로봇이 포함된 테이블탑(tabletop) 장면 전체를 생성합니다.

Drift는 어떻게 ALOHA 장면을 구축하나요?
Drift는 작업대, 물체, 로봇을 설명하는 하나의 자연어 프롬프트를 입력받으면, 시뮬레이션 파일들을 생성하고 이를 조립하여 ALOHA 양팔 로봇이 배치된 즉시 실행 가능한 MuJoCo 장면을 만듭니다. 이를 통해 사용자는 바로 시뮬레이션을 실행하고 조작(manipulation) 작업으로 넘어갈 수 있습니다.