MeshFlow: MeshVAE 및 Flow 기반 Diffusion Transformer를 통한 효율적인 예술적 메쉬 생성

우리는 예술가 스타일의 3D 메쉬 (3D meshes)를 생성하기 위한 새로운 방법론인 MeshFlow를 제시합니다. 현재의 메쉬 생성기들은 메쉬 위상 (mesh topology)의 이산적 (discrete) 특성을 고려할 때 자연스러운 선택인 자기회귀 (Auto-Regressive, AR) 방식의 다음 토큰 예측 (next-token prediction)을 채택하는 경우가 많습니다. 하지만 AR 방식은 추론 비용 (inference cost)이 메쉬 크기에 따라 이차 함수적으로 증가하기 때문에 확장성 (scale)이 떨어집니다. 또한 정점 좌표 (vertex coordinates)를 이산화 (discretizing)해야 하며, 이 과정에서 양자화 오차 (quantization errors)가 발생합니다. 이러한 과제들을 해결하기 위해, 우리는 대조 학습 손실 (contrastive loss)을 통해 지도 학습되어 연속적인 잠재 공간 (continuous latent space) 내에서 연속적인 정점 위치 (vertex positions)와 이산적인 연결성 (discrete connectivity)을 모두 표현하는 변이형 오토인코더 (Variational Autoencoder, VAE)를 도입합니다. 이 잠재 공간은 기존의 토큰 기반 메쉬 표현 방식보다 훨씬 더 압축적입니다. 그런 다음 우리는 Rectified Flow 트랜스포머 (transformer)를 기반으로 한 3D 생성기를 구축하여, 모든 메쉬 정점 (vertices)과 에지 (edges)를 병렬로 생성합니다. 우리 모델은 가장 빠른 AR 생성기보다 18배 더 빠르게 메쉬를 생성하면서도, 표준 메쉬 생성 지표 전반에 걸쳐 뛰어난 정확도를 달성합니다. 홈페이지: https://mesh-flow.github.io/, 코드: https://github.com/facebookresearch/meshflow