생성 모델이 이제 시뮬레이션 준비가 된 3D 에셋을 출력합니다

기하학적 기본 도형 (geometric primitives)과 결합된 시각-언어 트랜스포머 (Vision-language transformers)가 이제 미터법 규모의 시뮬레이션 준비가 된 3D 에셋을 출력합니다. PhysX-Omni는 단일 자기회귀 트랜스포머 (autoregressive transformer)가 이미지, 텍스트 및 공간적 사전 정보 (spatial priors)를 입력받아, URDF/XML 형식을 지원하는 시뮬레이션 엔진으로 즉시 가져올 수 있는 메쉬 (meshes), 재질 (materials) 및 물리 기술자 (physics descriptors)를 직접 생성할 수 있음을 보여줍니다.

이 연구 이전에는 대부분의 생성형 3D 파이프라인이 물리적 특성을 무시하거나, 강체 (rigid), 변형체 (deformable) 또는 관절형 (articulated)과 같은 단일 객체 클래스에 국한되어 개발자들이 기하학 (geometry)과 물리 (physics)를 위해 별도의 도구들을 짜깁기해야만 했습니다. 저자들은 이러한 파편화 (fragmentation)를 통합된 접근 방식에 대한 동기로 명시적으로 지적했습니다 \u20141\u2014.

"PhysXVerse에서 우리의 방법은 PSNR 21.52, CD 2.95, F-score 91.28을 달성하여 이전의 최고 결과들을 크게 능가했습니다." 이러한 수치들은 생성된 기하학적 구조가 시각적으로 충실할 뿐만 아니라, 동일한 데이터셋에서 평가된 이전의 어떤 모델보다 정답 스캔 (ground-truth scans) 데이터에 정량적으로 더 가깝다는 것을 나타냅니다.

"PhysXVerse에서 절대 규모 오차 (absolute scale error)는 PhysXGen의 309.31과 PhysX-Anything의 298.19에서 PhysX-Omni의 단 2.79로 감소했습니다." 이러한 두 자릿수(two-order-of-magnitude)의 개선은 객체가 실제 세계의 치수로 생성됨을 의미하며, 오랫동안 시뮬레이션 파이프라인을 괴롭혀온 지루한 수동 재스케일링 (manual rescaling) 단계를 제거합니다.

공개된 코드베이스에는 URDF 및 XML 파일을 작성하는 추론 스크립트가 포함되어 있어, 단 한 번의 순전파 (forward pass)만으로 이러한 표준을 이해하는 모든 시뮬레이터에서 즉시 사용할 수 있는 물리 기능이 활성화된 완전한 에셋을 얻을 수 있습니다. 이 파이프라인은 즉시 사용 가능한 에셋 생성을 목표로 하지만, 대상 시뮬레이터에 따라 사후 리깅 (post-hoc rigging) 또는 파라미터 튜닝 (parameter tuning)이 여전히 필요할 수 있으며, 파이프라인은 프롬프트에서 에셋까지 엔드 투 엔드 (end-to-end)로 실행됩니다.

해당 논문은 생성 지연 시간 (generation latency)이나 메모리 소비량을 보고하지 않았으며, 따라서 즉각적인 피드백이 중요한 대화형 저작 도구 (interactive authoring tools)에 PhysX-Omni가 활용될 수 있을지는 미지수입니다. 또한, PhysXVerse는 현재 실내 및 실외 카테고리를 아우르며 다양한 객체 유형을 다루고 있으나, 관절이 매우 복잡한 생명체 (highly articulated creatures)나 대규모 지형 (large-scale terrains)에 대한 강건성 (robustness)은 아직 철저히 평가되지 않았습니다.

만약 보고된 충실도 (fidelity)와 규모 정확도 (scale accuracy)가 실제 제작 워크로드 (production workloads)로 이어진다면, 스튜디오는 수 시간의 수동 모델링 및 물리 저작 (physics authoring) 과정을 단 하나의 텍스트 프롬프트로 대체할 수 있으며, 이는 오랫동안 기하학 (geometry)과 시뮬레이션 (simulation)을 별개의 단계로 취급해 온 에셋 파이프라인 (asset pipelines)을 근본적으로 재편할 것입니다.

References

1. PhysX-Omni: Unified Simulation-Ready Physical 3D Generation for Rigid, Deformable, and Articulated Objects