이 글은 교차 게시물입니다. 원문(모든 장에 대한 다이어그램, 코드 및 치트 시트 포함)은 제 블로그에 있습니다:
👉 The Evolution of Spatial VLMs

시각-언어 모델(Vision-language models)은 창고 사진을 유창한 산문으로 설명할 수 있지만, "지게차가 선반에서 몇 미터 떨어져 있습니까?"라는 질문에는 답하지 못할 수 있습니다. 이들은 '보고'는 있지만 '인지'하지는 못합니다. 2024~2026년에 걸쳐 일련의 연구들이 이 격차를 단계적으로 메워왔으며, 단 하나의 관점으로 읽어보면 그 궤적이 놀라울 정도로 일관적입니다.

이산적인 언어 토큰(discrete language tokens)과 연속적인 3D 기하학(continuous 3D geometry) 사이의 표현 불일치 — 그리고 이를 해결하기 위한 연속적인 시도들.

저는 논문 하나하나를 따라가며 그 궤적을 추적하는 10장 구성의 코스를 작성했습니다. 여기 각 논문이 "왜 존재해야만 했는지"에 대한 한 줄 설명과 함께 지도를 제시합니다. 전체 장(비유 + mermaid 다이어그램 + 실행 가능한 코드)은 각 항목에 링크되어 있습니다.

10개의 논문 흐름

1. BLINK: See but Not Perceive — 진단. 사람들이 "눈 깜짝할 사이에" 해결하는 작업에서 인간은 95.7%를 기록한 반면 GPT-4V는 51.3%를 기록했습니다. VLMs는 이미지를 기하학이 아닌 의미론적 개념의 집합(bag of semantic concepts)으로 읽습니다.

2. SpatialVLM: Data Is the Answer — 공간적 맹목(spatial blindness)을 아키텍처의 문제가 아닌 데이터 문제로 재정의합니다. 2D 웹 이미지를 미터법 기반의 3D로 끌어올리고 2B(20억) 개의 공간적 VQA 쌍을 합성합니다.

3. SpatialRGPT — Point at a Region, Plant the Depth — 영역 접지(region grounding)와 부드럽게 성능이 저하되는(gracefully-degrading) 깊이(depth) 플러그인을 추가합니다. "이 물체"를 가리키고 미터법 기반 3D에서 추론하는 최초의 VLM입니다.

4. SpatialBot — Learning to Read Depth — 깊이를 쿼리 가능하게(queryable) 만듭니다: 모델이 추측하는 대신 호출할 수 있는 Depth API를 제공합니다.

Thinking in Space — 단일 이미지에서 비디오로: 모델이 인지 지도 (cognitive map)를 구축하고 공간을 _기억(remember)_하는가?

6. OmniSpatial — 능력 그 자체의 지도를 그리다: 공간 추론 (spatial reasoning)에 대한 포괄적인 분류 체계 (taxonomy).

7. Perspective-Aware Reasoning (APC) — "내가 저기에 서 있다면..." — 자기중심적 편향 (egocentric bias)을 깨기 위한 심상 (mental imagery).

8. Depth-native VLMs — DepthVLM vs DepthLM — VLM이 직접 깊이 센서라면 어떨까? 깊이를 네이티브하게 구워 넣는(baking in) 두 가지 방식.

9. Verifiable RL for Spatial Reasoning — 공간 기술은 단순히 더 많은 라벨을 갖는 것이 아닙니다; 검증 가능한 보상 (verifiable reward)이 잠재된 능력을 _활성화(activate)_할 수 있습니다. SVQA-R1 → Smooth Operator (450만 개의 지도 학습 데이터에 필적하는 5만 개의 샘플).

10. Grounded 3D-Aware — Reconstruct While You Reason — 종합: GR3D는 생성 시점의 메커니즘으로 접지 (grounding)를 촉진하며, VLM-3R은 3D 재구성 (reconstruction)을 지시어 튜닝 (instruction tuning)에 통합합니다. 또한 여전히 열려 있는 6가지 프런티어(frontiers)도 다룹니다.

왜 이것을 하나의 흐름으로 읽어야 하는가?

각 논문이 동일한 질문에 대한 서로 다른 답변이기 때문입니다: 어떻게 하면 토큰 기반 모델이 연속적인 기하학 (continuous geometry)을 존중하게 만들 수 있을까? 데이터 합성 (data synthesis), 깊이 플러그인 (depth plugins), 인지 지도 (cognitive maps), 정신적 회전 (mental rotation), 네이티브 깊이 (native depth), 검증 가능한 강화학습 (verifiable RL), 그리고 루프 내 재구성 (reconstruction-in-the-loop)은 모두 그 하나의 불일치(mismatch)를 해결하기 위한 시도들입니다. 이들을 순차적으로 살펴보면, 논문 더미가 방향성을 가진 하나의 이야기로 변합니다.

이러한 프레임워크가 유용하다면, 시각적 치트 시트 (visual cheat sheet), 개념도, 그리고 각 장에 대한 코드가 포함된 전체 코스는 여기에서 확인할 수 있습니다:

👉 The Evolution of Spatial VLMs — 전체 코스

저는 이러한 논문 흐름 코스(VLM 사후 학습 (post-training), 물리적 AI (Physical AI), 에이전트 아키텍처 (agent architectures))를 **direcf.github.io**에서 정기적으로 작성하고 있습니다.