VitronEdit: 이미지, 비디오 및 3D 편집을 위한 새로운 통합 모델. 코드와 가중치 사용 가능

저는 Lemmy의 Stable Diffusion 커뮤니티에서 우연히 이 프로젝트를 접하게 되었고, 공유할 만한 가치가 있다고 생각하여 이곳에 올립니다. 명확히 말씀드리자면, 저는 개발사나 프로젝트와는 아무런 관련이 없습니다. 단순히 우연히 발견했을 뿐이며, Reddit에서는 이에 대한 논의를 찾을 수 없었습니다.

이 모델은 VitronEdit이라고 불리며, 그 논문은 2026년 10월 19일에 발표되었습니다. 제가 주목한 부분은 이 모델이 이미지 편집, 비디오 편집, 그리고 3D 장면 편집을 완전히 별개의 작업으로 다루기보다는 단일 통합 프레임워크로 가져오려고 시도한다는 점입니다.

연구원들에 따르면 VitronEdit은 다음 기능을 지원합니다:

• 이미지 편집 (Image editing): 텍스트 지침(text instructions)을 사용하여 이미지를 수정하며, 선택적으로 참조 이미지(reference images)를 사용할 수 있습니다.
• 비디오 편집 (Video editing): 텍스트 지침과 선택적인 참조 이미지 조건화(optional reference-image conditioning)를 사용하여 기존 비디오를 편집할 수 있습니다.
• 3D 장면 편집 (3D scene editing): 기하학적 일관성(geometric consistency)을 유지하면서 여러 시점에서 편집을 적용합니다.
• 크로스 모달 학습 (Cross-modal learning): 이미지와 비디오에서 학습한 편집 지식을 3D 장면에 전이할 수 있습니다.
• 기하학 인식 훈련 (Geometry-aware training): 깊이(depth) 및 카메라 포즈 감독(camera-pose supervision)을 사용하여 구조적 일관성과 다중 시점 일관성을 개선합니다.

논문에서 특히 흥미로운 발견은 기하학적 감독(geometric supervision)을 오직 3D 훈련 샘플에만 적용해도 이미지 및 비디오 편집 성능이 향상되었다는 점입니다. 프로젝트 페이지에는 객체 변환과 다중 시점 장면 편집을 포함하여 세 가지 편집 모드 모두의 시각적 데모가 있습니다.

링크:

• 프로젝트 페이지 및 데모: https://vitron-llm.github.io/VitronEdit/
• 연구 논문: https://arxiv.org/abs/2610.27049
• GitHub (코드): https://github.com/Vitron-LLM/VitronEdit-Code
• Hugging Face (가중치): https://huggingface.co/SanRiiiii/VitronEdit
• 제가 발견한 원본 Lemmy 게시물: https://lemmy.world/post/53470733

코드와 모델 가중치는 사용 가능하지만, 이는 바로 사용할 수 있는 Stable Diffusion이나 ComfyUI 워크플로우라기보다는 연구 지향적인(research-oriented) 릴리스인 것으로 보입니다.

제가 직접 테스트해보지 못했기 때문에 실제 성능(real-world performance), 하드웨어 요구 사항(hardware requirements), 또는 시연된 결과가 얼마나 잘 일반화되는지(generalize)에 대해서는 코멘트할 수 없습니다. 그럼에도 불구하고, 이미지, 비디오, 그리고 3D 편집을 하나의 프레임워크에서 결합하려는 아이디어는 흥미로워 보입니다. 특히 커뮤니티가 나중에 더 쉬운 로컬 추론 워크플로우(local inference workflows)를 개발한다면 더욱 그렇습니다. 혹시 여기서 누가 로컬로 실행해 본 사람이 있나요? 저는 특히 VRAM 요구 사항(VRAM requirements), 추론 속도(inference speed), 그리고 누군가 ComfyUI 통합 작업을 하고 있는지에 대한 이야기를 듣고 싶습니다.

참고: 이 게시물에서 오류를 교정하고 검토하는 데 AI를 사용했습니다. 작성자: /u/Desperate_Day_5416 [링크] [댓글]