Insights
AI가 자동으로 큐레이션·번역·정리하는 기술 동향 피드입니다.
SuperVoxelGPT는 자기회귀적 3D 생성을 위해 적응형 및 순서화된 슈퍼복셀 토큰화 방식을 제안합니다. 복잡한 영역에는 미세한 셀을, 매끄러운 영역에는 큰 셀을 할당하여 토큰 시퀀스 길이를 획기적으로 줄이고 생성 속도를 높였습니다.
AI 자동 생성 콘텐츠
본 콘텐츠는 arXiv cs.GR (Graphics)의 원문을 AI가 자동으로 요약·번역·분석한 것입니다. 원 저작권은 원저작자에게 있으며, 정확한 내용은 반드시 원문을 확인해 주세요.
원문 바로가기자기회귀적 멀티모달 대규모 언어 모델 (MLLMs)은 3D 생성을 가능하게 하지만, 부적절한 3D 토큰화 (tokenizations)로 인해 고해상도 형상으로 확장하는 데 어려움을 겪습니다. 압축된 집합 기반 표현 (set-based representations)은 결정론적인 공간적 순서 (spatial ordering)를 버림으로써 모호한 시퀀스 예측을 초래하며, 균일한 (uniform) 또는 옥트리 기반 (octree-based) 복셀 그리드 (voxel grids)는 심각한 중복성과 과도하게 긴 시퀀스를 대가로 순서를 유지합니다. 이러한 구조적 트레이드오프 (trade-off)는 안정적이고 효율적인 자기회귀적 3D 생성을 제한합니다. 우리는 적응형이며 결정론적으로 순서화된 슈퍼복셀 (supervoxel) 토큰화를 통해 이러한 긴장을 해결하는 표현 우선 프레임워크인 SuperVoxelGPT를 제시합니다. 프롬프트가 주어지면, 우리는 먼저 거친 기하학적 돌출도 분포 (geometric saliency distribution)를 예측하고, 돌출도 유도 중심 보로노이 테셀레이션 (saliency-guided centroidal Voronoi tessellation)을 사용하여 형상 적응형 슈퍼복셀 분할을 구축하여, 복잡한 영역에는 미세한 셀을, 매끄러운 영역에는 더 큰 셀을 할당합니다. 텍스트와 순서화된 슈퍼복셀 레이아웃을 조건으로 하여, 우리는 SuperVoxelVAE를 도입하고 사전 학습된 MLLM을 미세 조정 (fine-tune)하여 슈퍼복셀 토큰을 자기회귀적으로 생성합니다. Trellis-500K에 대한 실험 결과, SuperVoxelGPT는 균일 복셀 토큰화 대비 토큰 시퀀스 길이를 12.8%로 줄이면서도 최첨단 (state-of-the-art) 생성 품질을 달성하고 이전 방법들보다 평균 10배 빠른 속도를 보여주었습니다.