가우시안 스플랫 씬(Gaussian Splat Scene) 내 요소 추출/제거/교체용 오픈소스 툴킷, SpEdE (Splat Edit

u/ComfyUI #OpenSourceHiggsfield 콘테스트 출품작입니다. 제가 만든 것입니다. 이름은 SpEdE(Splat Edit Engine)입니다. 스플랫 씬을 불러온 후 객체를 클릭하면 다음 작업을 수행할 수 있습니다:

• 제거: 구멍이 실제 가우시안(Gaussians)으로 채워지며, 이 가우시안들은 모든 캡처 카메라를 기준으로 피팅되므로 주변을 회전해도 무너지지 않습니다.
• 교체: 텍스트 프롬프트(선택적으로 레퍼런스 사진 사용 가능)를 사용하여 다른 것으로 대체합니다. Qwen-Image가 이를 씬에 그리고, TripoSplat이 가우시안으로 변환한 후, 기존 객체가 있던 표면에 배치됩니다.
• 추출: 독립적인 깨끗한 PLY 파일로 추출할 수 있습니다.
  모든 작업은 ComfyUI에서 오픈 웨이트(open weights)를 사용하여 로컬에서 실행됩니다. 사용된 기술로는 SAM 3.1, Qwen-Image 2.1, MoGe-3 및 TripoSplat이 있습니다. 또한, 직접 그래프 연결을 할 필요가 없도록 작은 웹 UI도 제공됩니다. 코드는 AGPL 라이선스입니다.
  주의사항: 저는 제 자신의 컴퓨터(Ubuntu, RTX 5090)에서만 테스트할 수 있었습니다. gsplat은 일반적으로 사용자의 torch/CUDA에 맞춰 컴파일해야 하며, 아마 이 부분에서 사람들이 어려움을 겪을 수 있습니다. Windows는 테스트되지 않았으며, VRAM이 32GB 미만인 경우 워크플로우를 조정해야 할 가능성이 높습니다. 모든 내용은 README에 나와 있습니다.
  레포지토리: https://github.com/Burgstall-labs/ComfyUI-SpEdE
  사용하시다가 오류가 발생하거나 어떤 종류의 씬에서 문제가 생기는지 알려주시면 감사하겠습니다.
  제출자: /u/Burgstall [링크] [댓글]