3D Gaussian Splats를 이용한 장면 수준의 이질적 물리 시뮬레이션

3D Gaussian Splatting (3DGS)은 최첨단(state-of-the-art)의 사실적인 렌더링을 달성했지만, 표현 방식의 차이(representation gap)로 인해 이러한 자산들이 물리적으로 상호작용하는 것을 방해합니다. 상용 수준의 물리 엔진(physics engines)은 3DGS 표현 방식을 이해하지 못하며, 기존의 3DGS용 물리(physics-for-3DGS) 방법론들은 단일 구조의 고립된 형태(monolithic silos)입니다. 이러한 이전 연구들은 근본적인 한계가 있으며, 이상적인 평면과 같은 격리된 환경에서의 객체 중심(object-centric) 물리만을 보여줍니다. 이들은 복잡한 정적 충돌 기하 구조(static collision geometry)나 이질적인 자산(heterogeneous assets)과 상호작용할 수 없습니다. 우리는 3DGS 자산이 장면 수준(scene-level)의 이질적이고 다중 솔버(multi-solver) 기반인 물리 시뮬레이션에 참여할 수 있도록 함으로써, 처음으로 이 간극을 메우는 새로운 프레임워크를 제안합니다. 우리의 핵심 기여는 3DGS, 가상 메쉬(virtual meshes), 유체(fluids)를 포함한 모든 다양한 자산을 통일된 물리 입자 세트(unified physical particle set)로 변환하는 표현 추상화 프레임워크(Representation Abstraction Framework)입니다. 이 추상화는 통일된 물리 파이프라인(physics pipeline) 내에서 3DGS 자산의 비강체 변형(non-rigid deformation)과 같은 복잡한 동작을 가능하게 하는 핵심 요소입니다. 이 입자 세트는 장면 캡처에서 유도된 정적 장면 충돌 경계(static scene collision boundaries)와 함께 솔버 불가지론적(solver-agnostic) 물리 커널 내에서 처리됩니다. 이후 물리적 결과는 각 자산의 특정 시각적 재구성(visual reconstruction)을 구동하도록 다시 매핑됩니다. 이 아키텍처는 기존 기술로는 불가능했던 기능들을 실현합니다. 우리는 변형 가능한 3DGS 자산, 유체 및 메쉬와 같은 표준 CG 자산, 그리고 대규모로 캡처된 정적 환경 사이의 복잡한 양방향 상호작용을 입증하며, 이전에는 달성할 수 없었던 사실적인 결합 현상(coupled phenomena)을 보여줍니다.