Text2Sim: 전문가 지식을 증류하여 에이전트 기반 물리 시뮬레이션 생성

다양한 물리 시뮬레이션을 만드는 것은 자산(assets), 레이아웃(layout), 물리적 매개변수(physical parameters), 움직임(motion), 제어(control), 렌더링(rendering)을 함께 설계하고 디버깅해야 하므로 노동 집약적입니다. 우리는 텍스트 전용 요청을 실행 가능하고 편집 가능한 동적 케이스로 변환하는 시뮬레이션 특화 에이전트 파이프라인인 Text2Sim을 제시합니다. Genesis를 기반으로 하는 Text2Sim은 플래너(Planner)와 전문 라이터(Writers), 자산 생성 도구, 독립적인 크리틱(Critic)을 결합한 계층적 에이전트 구조를 사용합니다. 그래픽 데모에서 증류된 컴팩트 스킬(Debug Cards)은 실행 기반 수리를 위한 역할별 물리적 지침을 제공합니다. 우리는 강체(rigid), 관절형(articulated), 변형성(deformable), 직물(cloth) 현상을 아우르는 42개의 홀드아웃 프롬프트에서 물리적 품질, 시각적 품질, 인간 선호도를 평가하며, 경험 구성과 평가 사이에 논문 수준의 분할을 적용합니다. 우리는 결과의 품질을 평가하기 위해 자동 물리 및 시각 스코어러(scorers)를 설계했으며, Text2Sim은 두 측정 기준 모두에서 네 가지 최첨단 베이스라인보다 높은 점수를 달성했습니다. 이러한 베이스라인들과의 블라인드 사용자 연구에서, 참가자들은 베이스라인들보다 Text2Sim을 유의미하게 더 선호했으며, 이는 우리의 자동 스코어러 결과와 일치합니다. 이 파이프라인은 또한 광범위한 다운스트림 애플리케이션을 지원하며, 데이터셋 구성 및 멀티모달 입력으로의 확장을 두 가지 대표적인 예로 선정했습니다. 우리는 코드, Debug Card 라이브러리, 그리고 텍스트 프롬프트와 렌더링된 비디오를 각각 실행 가능한 프로그램, 자산, 물리적 매개변수, 제어, 기록된 상태와 쌍을 이루는 생성 케이스 데이터셋을 공개할 예정입니다.