상상적 지각 토큰 (Imaginative Perception Tokens)

요약

UW, OpenAI 등은 VLM의 공간 추론 능력을 향상시키기 위해 '상상적 지각 토큰(Imaginative Perception Tokens)'을 개발했습니다. 이 토큰은 관점 취하기와 경로 추적 등의 시각적 관점을 텍스트 기반으로 상상하게 합니다. 또한, NVIDIA는 코드를 액션 인터페이스로 활용하는 트레이닝 불필요 공간 추론 에이전트인 SpatialClaw를 공개하며 VLM의 성능을 개선했습니다.

핵심 포인트

• Imaginative Perception Tokens: VLM에 텍스트 기반의 공간 상상 능력을 부여합니다.
• 관점 취하기, 경로 추적 등 시각적 관점 이해도를 높입니다.
• SpatialClaw는 코드를 이용해 트레이닝 없이도 공간 추론이 가능합니다.
• NVIDIA 에이전트는 기존 대비 높은 성능 향상을 보였습니다.