MaterialClusterGS: 2D Gaussian Splatting을 이용한 팔레트 기반 재질 분해 및 물리 기반 재조명

우리는 물리 기반 재조명 (Physically-based relighting) 및 재질 편집 (Material editing)을 가능하게 하는 2D Gaussian Splatting을 위한 팔레트 기반 재질 분해 (Palette-based material decomposition) 프레임워크인 MaterialClusterGS를 제안합니다. 기존의 Gaussian 역렌더링 (Inverse rendering) 방법들은 일반적으로 개별 프리미티브 (Primitives)에 독립적인 BRDF 파라미터를 할당합니다. 이러한 국소적 피팅 (Local fitting) 전략은 유연하긴 하지만, 재질 복원을 매우 제약 조건이 부족한 (Under-constrained) 상태로 만듭니다. 즉, 그림자, 간접 조명 (Indirect illumination), 기하학적 오류, 그리고 가시성 잔차 (Visibility residuals) 등이 수천 개의 미세하게 다른 국소 재질 추정치로 흡수될 수 있습니다. 한편, 최근의 팔레트 기반 외관 (Appearance) 방법들은 물리적 재질이나 조명을 모델링하지 않고 오직 RGB 공간에서만 작동합니다. 이러한 격차를 해소하기 위해, 우리는 연속적인 공간 재질 필드 (Continuous spatial material field)를 통해 할당된 공유 BRDF 프로토타입 (Prototypes)의 압축된 글로벌 팔레트를 사용하여 장면의 재질을 표현합니다. 공유된 재질 구조가 없다면, 한 영역을 편집하더라도 동일한 재질을 가진 다른 영역으로 일관되게 전파되지 않으므로, 프리미티브별 분해 방식은 편집에 실용적이지 않습니다. 우리는 물리 기반 렌더링 (Physically-based rendering) 목적 함수 아래에서 재질 필드, 팔레트 프로토타입, 그리고 환경 조명 (Environment lighting)을 공동으로 최적화합니다. 결과적으로 이 프레임워크는 재질 편집, 재조명 및 전이 (Transfer)에 직접 사용할 수 있는 압축되고 공간적으로 일관된 속성들을 복원합니다.