Text2Sim: 추출된 전문 지식을 활용한 에이전트 기반 물리 시뮬레이션 생성

다양한 물리 시뮬레이션을 만드는 것은 자산(assets), 레이아웃(layout), 물리적 매개변수(physical parameters), 움직임(motion), 제어(control), 그리고 렌더링(rendering)을 공동으로 설계하고 디버깅해야 하므로 노동 집약적인 작업입니다. 우리는 텍스트 전용 요청을 실행 가능하고 편집 가능한 동적 케이스로 변환하는 시뮬레이션 전문 에이전트 파이프라인인 Text2Sim을 제시합니다. Genesis를 기반으로 하는 Text2Sim은 플래너(Planner)와 특화된 라이터(Writers), 자산 생성 도구, 그리고 독립적인 크리틱(Critic)을 결합한 계층적 에이전트 구조를 사용합니다. 그래픽스 데모에서 추출된 컴팩트 스킬(Debug Cards)은 실행 기반의 수리를 위한 역할별 물리적 지침을 제공합니다. 우리는 강체(rigid), 관절형(articulated), 변형성(deformable), 그리고 천(cloth) 현상을 아우르는 42개의 홀드아웃 프롬프트를 사용하여 물리적 품질, 시각적 품질, 그리고 인간의 선호도를 평가했습니다. 이 과정은 경험 구성과 평가 사이에 논문 수준으로 분할되었습니다. 우리는 결과의 품질을 평가하기 위해 자동화된 물리 및 시각 스코어러를 설계했으며, Text2Sim은 두 가지 측정 기준 모두에서 네 가지 최신 기술 기반 모델(state-of-the-art baselines)보다 높은 점수를 달성했습니다. 이러한 기반 모델들과 비교한 블라인드 사용자 연구에서는 참가자들이 기반 모델들보다 Text2Sim을 유의미하게 더 선호했으며, 이는 자동 스코어러의 결과와 일치합니다. 이 파이프라인은 또한 광범위한 다운스트림 애플리케이션을 지원하며, 데이터셋 구성과 멀티모달 입력으로의 확장을 두 가지 대표적인 예시로 선정했습니다. 우리는 코드, Debug Card 라이브러리, 그리고 생성된 케이스 데이터셋을 공개할 예정이며, 각 항목은 텍스트 프롬프트와 렌더링된 비디오를 실행 가능한 프로그램, 자산, 물리적 매개변수, 제어 장치, 그리고 기록된 상태와 쌍으로 구성합니다.