X-Splat: RGB와 X-ray를 위한 통합 가우시안 스플래팅을 이용한 공동 3D 재구성

원문 발행 2026. 10. 16. 19:06원문 언어 영어AI 한국어 번역arXiv cs.GR (Graphics) 원문 보기

요약

본 논문은 RGB와 X-ray 이미지를 통합하여 객체의 외부 외관과 내부 구조를 동시에 재구성하는 방법을 제안합니다. 기존 방법의 한계를 극복하기 위해, 모든 가우시안 프리미티브가 단일 기하학적 매개변수를 공유하는 통합 표현을 사용했습니다. 이를 통해 두 모달리티 간의 강력한 교차 모달리티 등록과 일관된 3D 재구성이 가능합니다.

핵심 포인트

RGB와 X-ray를 공동으로 재구성하여 완전한 객체 이해 제공
모든 가우시안 프리미티브가 단일 기하학적 매개변수 공유 (통합 표현)
교차 모달리티 등록을 통해 정렬 안정성 및 일관성 개선
InsideOut 데이터셋 등에서 우수한 재구성 성능 입증

RGB와 X-ray를 공동으로 재구성하는 것은 외부 외관과 내부 구조를 연결함으로써, 단일 모달리티보다 더 완전하게 현실 세계의 객체를 이해할 수 있는 새로운 통찰력을 제공합니다. 그러나 기존 방법들은 모달리티별로 별도의 모델을 훈련하며, 중복된 기하학 정보, 정렬 아티팩트(alignment artifacts), 그리고 느슨한 결합(loose coupling)으로 인해 교차 모달리티의 통찰력 발견에 한계가 있습니다. 본 논문에서는 모든 가우시안 프리미티브가 단일 세트의 기하학적 매개변수를 공유하고, 표면 근접 프리미티브만이 추가적으로 외관 속성을 가지는 통합 표현(unified representation)을 제안합니다. 우리는 두 개의 최적화된 가우시안 세트를 정렬하는 대신, 깨끗한 다중 뷰 스테레오 및 X-ray 기하학 프록시를 통해 교차 모달리티 등록(cross-modal registration)을 수행하여 정렬 안정성을 개선했습니다. 그런 다음, 우리는 두 모달리티의 지도 학습(supervision)과 X-ray 기하학에서 파생된 표면-깊이 일관성 손실(surface-depth consistency loss)로 보완하여 통합 표현을 공동으로 최적화합니다. InsideOut 데이터셋과 저희 Flower & Insect 데이터셋에서의 실험 결과는, 본 프레임워크가 더 강력한 교차 모달리티 정렬, X-ray 재구성을 저해하지 않으면서 높은 RGB 렌더링 품질, 그리고 두 개의 독립적인 기하학을 유지하는 것보다 더 간결한 표현을 달성함을 보여줍니다.

AI 자동 생성 콘텐츠

원문 바로가기

X-Splat: RGB와 X-ray를 위한 통합 가우시안 스플래팅을 이용한 공동 3D 재구성

요약

핵심 포인트

댓글