이미지를 Gaussian Splat으로 변환하는 웹 애플리케이션 개발

최근 video 모델(예: ComfyUI의 Minimax H3)에서 나오는 궤도 스타일 비디오를 가지고 놀다가, 이것들이 Gaussian Splatting에 아주 좋은 입력이 될 거라는 생각을 계속 했습니다. 문제는 일반적인 파이프라인을 사용하려면 COLMAP, 트레이너, CUDA 등을 설치해야 한다는 것입니다. 단지 하나의 아이디어를 시도하기 위해서 너무 많은 마찰(friction)이 발생합니다. 그래서 저는 Gausify Orbit: https://orbit.gausify.com/를 만들었습니다. 비디오를 올리면 전체 과정이 WebGPU를 사용하는 브라우저 내에서 로컬로 실행됩니다. 비디오에서 프레임을 가져오고, RMBG-1.4 (BRIA)를 사용한 선택적 배경 제거를 거치며 ONNX Runtime을 통해 작동합니다. 카메라 포즈는 작은 구조 복원(structure-from-motion) 단계를 거쳐 학습하고, 브러시로 Splat 결과를 미리 보고 PLY 또는 SOG 형식으로 내보낼 수 있습니다. Python도, CUDA도, 계정도 필요 없습니다. 비디오가 기기를 벗어나는 일은 절대 없습니다. 모델들은 한 번 다운로드하면 그 이후로는 앱이 오프라인에서도 작동합니다. 만약 누군가에게 결과를 보여주고 싶다면 뷰어에서 열리는 임시 개인 링크를 공유할 수 있습니다 (WebXR도 지원합니다). 모든 것이 GPU에서 실행되기 때문에 얼마나 빠를지는 하드웨어에 따라 다릅니다. WebGPU가 있는 브라우저(최신 Chrome 또는 Edge가 가장 좋습니다)가 필요합니다. AI 비디오 역시 완벽하게 3D 일관성이 갖춰져 있지는 않기 때문에, 생성된 결과물 중 일부는 다른 것들보다 훨씬 더 잘 복원됩니다. 중앙의 피사체를 중심으로 느리고 꾸준한 궤도를 따라 움직이는 것이 가장 좋은 결과를 가져옵니다. 더 나은 결과를 위한 팁: 저는 pablodawson이 만든 이 LoRA를 사용해서 Minimax H3에서 더 깨끗한 궤도를 얻고 있습니다: https://huggingface.co/pablodawson/MiniMax-H3-360-Orbit-LoRA. 이것은 카메라가 피사체를 중심으로 훨씬 더 부드럽고 일관된 360° 궤도로 움직이게 합니다. 이는 복원 단계가 예측 가능한 경로를 따라 카메라를 추적하는 데 의존하기 때문에 큰 도움이 됩니다. 제가 테스트한 결과, 이 LoRA로 만든 비디오는 일반 프롬프팅보다 더 나은 카메라 포즈와 눈에 띄게 선명한 Splat을 얻었습니다. 궤도 비디오를 생성할 때 강력히 추천합니다. ComfyUI 워크플로우: https://github.com/obraia/ComfyUI/blob/main/workflows/minimax-h3-gausify-orbit.json /u/obraiadev가 제출했습니다. [링크] [댓글]