Spectral World Renderer: 통합 3D 초분광 언믹싱

요약

Spectral World Renderer (SWR)는 3D 장면의 시각적 정보뿐만 아니라 물질 구성까지 통합적으로 이해하는 새로운 접근 방식을 제시합니다. SWR은 코딩 에이전트가 측정된 스펙트럼을 기반으로 실행 가능한 3D 월드를 구축하며, 모든 초분광 이미지를 정확한 레이블과 서브픽셀 비율로 제공합니다. 이를 통해 렌더링 과정 내부에서 언믹싱(unmixing)을 수행하여 물질 풍부도와 스펙트럼 정보를 동시에 산출할 수 있습니다.

핵심 포인트

• SWR은 3D 월드 생성과 초분광 언믹싱을 통합하는 새로운 모델입니다.
• 렌더링 단계에서 직접 언믹싱을 수행하여 물질 구성 정보(물질 풍부도)를 얻습니다.
• 실제 캡처 환경에서도 높은 성능을 보이며, 기존 방법 대비 학습 속도가 빠릅니다.
• SWR-Bench를 통해 검증 가능한 8개의 실내외 월드를 제공합니다.