Insights
AI가 자동으로 큐레이션·번역·정리하는 기술 동향 피드입니다.
UC Berkeley와 NVIDIA가 개발한 RoboSimStudio는 휴대폰 영상만으로 로봇 태스크의 물리적 쌍둥이를 구축하는 방법을 제시합니다. Claude나 GPT-6 Astra 같은 AI 에이전트가 시뮬레이션을 독립적으로 만들었으며, 실제 환경에서 발생한 오류를 발견하고 모델을 수정하여 현실성을 높이는 '루프 닫기' 과정을 보여주었습니다.
AI 자동 생성 콘텐츠
본 콘텐츠는 X 토픽: Agentic Workflow의 원문을 AI가 자동으로 요약·번역·분석한 것입니다. 원 저작권은 원저작자에게 있으며, 정확한 내용은 반드시 원문을 확인해 주세요.
원문 바로가기정말 놀랍습니다! 🤯
한 AI 에이전트가 휴대폰 영상만으로 로봇 태스크의 물리적 쌍둥이(physics twin)를 한 시간도 안 되어 구축했습니다.
RoboSimStudio 프로젝트는 UC Berkeley와 NVIDIA Robotics 연구원들이 Newton을 기반으로 제작했습니다.
모든 물리 매개변수가 인간이 슬라이드하거나 에이전트가 편집할 수 있는 요소로 노출된 오픈 키트럭입니다.
데모는 양손 조작(bimanual) 설정으로, 한 팔은 막대를 잡고 다른 팔은 폼 스펀지로 그 위에 표시된 마커 줄을 닦아내는 작업입니다. 입력 자료는 스마트폰 영상이었습니다.
더 중요한 것은 CAD도 없고, 보정된 카메라(calibrated cameras)도 없었다는 점입니다. Claude와 GPT-6 Astra가 각각 독립적으로 시뮬레이션을 구축했습니다. 그중 하나는 56분 만에 완료되었습니다.
그런 다음 실제 로봇으로 실행했을 때 막대 지지대가 움직였습니다. 시뮬레이션에서는 고정된(fixed) 것으로 모델링되었기 때문에 스펀지가 접촉을 유지했지만, 현실에서는 이동하여 접촉이 끊겼습니다.
이에 에이전트는 돌아가서 고정 제약 조건(fixed constraint)을 자유 강체(free rigid body)로 교체했습니다. 수정된 시뮬레이션은 원래의 방법으로는 재현할 수 없었던 기울어짐 현상을 재현해냈습니다.
이것이야말로 루프가 실제로 닫히는 것입니다. 현실 세계가 모델링 오류를 발견했고, 그 수정 사항이 쌍둥이(twin)로 다시 들어갔습니다.
🔗 프로젝트 확인: https://t.co/Vvgr8SDHQz