가우시안 병목 현상을 넘어선: 비전 트랜스포머 특징 공간의 위상적 정렬 인코딩

현대적인 시각적 세계 모델링 시스템은 종종 그럴듯한 동작을 생성하기 위해 고용량 아키텍처와 대규모 데이터를 점점 더 의존하고 있지만, 근본적인 3D 기하학이나 물리적으로 일관된 카메라 동역학을 보존하는 데 실패하는 경우가 많습니다. 주요 제한 사항은 모델 용량뿐만 아니라 기하학적 구조를 인코딩하는 데 사용되는 잠재적 표현 (latent representations) 에도 존재합니다. 우리는 외형만 모델링하는 것이 아니라, 카메라 운동, 깊이, 포인트 레벨의 구조를 포함한 장면의 잠재적 3D 상태를 압축하고 표현하는 데 중점을 둔 '기하학 우선' 잠재 학습 프레임워크인 S$^2$VAE 를 제안합니다. 시각적 기하학 기반 트랜스포머 (Visual Geometry Grounded Transformer, VGGT) 의 표현을 바탕으로, 병목부에서 방향성과 기하학적 의미를 강한 압축 하에서도 보존하기 위해 초구형 구조 (hyperspherical structure) 를 명시적으로 강제하는 새로운 유형의 변분 오토인코더를 도입합니다. 깊이 추정, 카메라 자세 복원, 포인트 클라우드 재구성 분야에서 우리는 기하학 정렬된 초구형 잠재적 변수가 고전적인 가우시안 병목 현상을 일관되게 능회한다는 것을 보여주었습니다. 특히 고압축 환경에서 이러한 성능이 두드러집니다. 우리의 결과는 물리적으로 기반을 둔 시각 및 세계 모델에서 잠재적 기하학을 최상급 설계 선택 사항으로 강조합니다.