PhysLDM: 고화질 변형 시뮬레이션을 위한 잠재 확산 모델 (Latent Diffusion)

고화질 변형(deformable) 물체의 신경 시뮬레이션은 컴퓨터 그래픽스 및 물리 AI 분야의 근본적인 과제입니다. 고해상도 3D 볼륨 메시에 대한 장기 예측은 어렵습니다. 자기회귀적 방법(autoregressive methods)은 오류 누적에 취약하며, 네이티브 해상도에서의 직접 다중 프레임 예측은 계산적으로 엄청난 비용이 듭니다. 이는 메시 기반의 볼륨 물리 분야에서 크게 탐구되지 않은 압축된 시공간 잠재 표현(spatiotemporal latent representation)을 필요로 합니다. 한편, 결정론적 회귀(deterministic regression)와 생성 확산(generative diffusion) 중 어떤 예측 패러다임이 더 적절한지는 불분명합니다. 이러한 복합적인 과제들을 해결하기 위해, 우리는 원샷 볼륨 변형 시뮬레이션을 위한 통합 잠재 확산 패러다임인 PhysLDM을 소개합니다. 그 핵심은 표준 시간 압축(일반적인 비디오 VAE에서와 같은)의 '계단식' 아티팩트를 피하는 전체론적 시공간 VAE이며, 최대 78배 토큰 압축률에서도 미터 규모 장면에서 약 2.48 mm의 재구성 정밀도를 달성합니다. 이 신뢰할 수 있는 잠재 공간을 기반으로, 우리는 회귀 및 확산 방법을 체계적으로 비교했습니다. 우리의 실험은 중요한 모델링 통찰력을 밝혀냈습니다: 복잡한 변형 동역학은 종종 카오틱(chaotic)하며, 이러한 영역에서 결정론적 회귀는 비물리적인 평균을 생성하는 경향이 있는 반면, 확산은 그 분포를 더 잘 모델링합니다. 따라서 우리는 잠재 확산 모델을 사용하여 카오틱한 데이터로부터 효과적으로 학습하고 물리적으로 그럴듯한 궤적(trajectories)을 생성합니다. Objaverse 규모의 데이터셋으로 순수하게 운동학적으로(kinematically) 훈련된 단일 PhysLDM은 보지 못한 OOD(Out-of-Distribution) 데이터셋(GSO 및 Toys4K)에 대해 제로샷(zero-shot) 일반화가 가능합니다. 또한, 그 미분 가능성(differentiability)은 역문제(inverse problems)의 효율적인 해결과 고차원 설계 최적화를 가능하게 합니다. 우리가 아는 한, PhysLDM은 볼륨 변형 동역학을 위한 최초의 고화질 시공간 오토인코더이자 잠재 확산 패러다임이며, 신경 시뮬레이션에 있어 확장 가능하고 견고한 접근 방식을 제공합니다.