그래프 프로세서 상에서의 3D Gaussian 렌더링
요약
SRAM 기반의 지능형 처리 장치(IPU)에서 3D Gaussian Splatting을 구현하는 새로운 아키텍처를 제안합니다. 타일 기반의 통신 모델과 BSP 방식을 통해 데이터 지역성을 활용하며, 온센서 및 DRAM-free 아키텍처의 가능성을 탐구합니다.
핵심 포인트
- SRAM 전용 IPU 상에서의 최초 3D Gaussian 렌더러 구현
- NEWS 그리드 기반의 타일 간 데이터 라우팅 및 분배 방식
- 타일 간 대역폭 및 SRAM 용량 등 하드웨어 제약 조건 분석
- DRAM 액세스를 줄이는 SM 간 직접 통신 방식의 시사점 제시
우리는 온칩 SRAM(on-chip SRAM)만을 갖춘 1,472개의 독립적인 타일로 구성되어, 효율적인 센서-프로세서 아키텍처의 특성과 유사한 제약 조건을 가진 지능형 처리 장치(Intelligence Processing Unit, IPU) 상에서의 최초 3D Gaussian 렌더러 구현을 선보입니다. 우리의 입력 장면은 실제 세계 시퀀스에서 추출한 3D Gaussian 맵입니다. 각 타일은 프레임버퍼(framebuffer)의 스크린 공간 영역을 '소유'합니다. Gaussian 프리미티브(primitives)는 남-동-서-북(NEWS) 그리드 상의 맨해튼 거리(Manhattan-distance) 홉을 통해 목적지 타일로 라우팅된 후, 확장되는 트리 패턴을 통해 겹치는 이웃 타일로 분배됩니다. 연산은 타일 간 통신이 컴파일 타임에 정의되는 IPU의 벌크 동기식 병렬(Bulk Synchronous Parallel, BSP) 모델을 따릅니다. 우리는 이 하드웨어가 코어 간의 로컬 데이터 전송을 가능하게 함으로써 공간적 및 시간적 지역성(spatial and temporal locality)을 활용할 수 있음을 보여줍니다. 우리는 이 SRAM 전용 구현에서의 병목 현상인 타일 간 대역폭(inter-tile bandwidth), 타일당 SRAM 용량, 그리고 불균일한 Gaussian 밀도로 인한 워크로드 불균형(workload imbalance)을 평가합니다. 우리는 이러한 제약 조건이 성능과 렌더링 품질에 어떤 영향을 미치는지 분석합니다. 이러한 탐구는 기존 GPU와 3D 표현 방식에 대해 더 넓은 질문을 제기하며, SM(streaming multiprocessor) 간의 직접적인 통신이 GPU 커널에서 DRAM 액세스를 줄이는 방법을 제공할 수 있음을 시사합니다. 우리는 온센서(on-sensor) 및 DRAM-free 아키텍처의 미래에 대한 이러한 시사점을 논의합니다. 프로젝트 페이지: https://nmjfry.github.io/ipu-3dgs/
AI 자동 생성 콘텐츠
본 콘텐츠는 arXiv cs.GR (Graphics)의 원문을 AI가 자동으로 요약·번역·분석한 것입니다. 원 저작권은 원저작자에게 있으며, 정확한 내용은 반드시 원문을 확인해 주세요.
원문 바로가기