SCARF: 의미론적 재사용과 융합 데이터 흐름을 갖춘 장면 적응형 깊이 안내 G-3DGS 인코더 가속기

깊이 유도(Depth-guided) 방식의 비용 볼륨 기반(cost-volume-based) Generalizable 3D Gaussian Splatting (G-3DGS) 인코더는 다중 시점 이미지로부터 장면을 가우시안 프리미티브 세트로 재구성하며, 장면별 최적화가 필요 없어 엣지 컴퓨팅 플랫폼에서 순방향(feed-forward) 방식으로 새로운 시점 합성(novel-view synthesis)이 용이합니다. 하지만 이들의 공유 인코더 아키텍처는 두 가지 주요 병목 현상을 제시합니다. 첫째, 픽셀별 깊이 검색은 2D 특징 공간 내의 의미론적 유사성을 무시하여, 중복적인 완전 탐색 후보 스캔(redundant exhaustive candidate scans) 때문에 깊이 검색 연산이 메모리 트래픽의 65% 이상을 차지하게 합니다. 둘째, 깊이 예측에 이어 가우시안 생성이 순차적으로 이루어지는 파이프라인은 국소적인 3D 기하학적 연속성을 간과하여, 생성된 가우시안 중 인스턴스화(instantiation)되기 전에 52% 이상이 불필요하게 됩니다. 본 논문에서는 SCARF를 소개합니다. 이는 각 병목 현상에 대응하는 장면 수준의 규칙성(scene-level regularity)을 정렬한 데이터 흐름 공동 설계 가속기입니다. 첫 번째 병목 현상을 완화하기 위해, Feature Similarity Depth Reuse는 깊이 검색을 의미론적 국소성(semantic locality) 문제로 재개념화합니다. 즉, 깊이 일관성은 물리적 주소 근접성이 아닌 특징 공간 내의 친화도(affinity)에 의해 결정됩니다. 이는 완전한 픽셀별 깊이 검색을 앵커 중심의 국부 검색으로 변환합니다. 두 번째 병목 현상을 극복하기 위해, Scene-Adaptive Early Sparsification은 각 타일을 탐색하여 국소 장면 규칙성을 추론함으로써 기존의 직렬적인 깊이-물질화 경계(serial depth-to-materialization boundary)를 파괴합니다. 이후 최소한으로 충분한 생성 경로만을 선택적으로 활성화하여, 프리미티브 인스턴스화 전에 중복 가우시안 연산을 제거합니다. 27.8 제곱 밀리미터의 28 nm 포스트 레이아웃 설계에서 SCARF는 최대 PSNR 저하가 0.072% 미만인 상태로 2.94배의 기하 평균 종단 간(geometric-mean end-to-end) 속도 향상, 와트당 2.23회의 추론(inferences per joule), 그리고 34.5배의 GPU 에너지 효율을 달성합니다.