SPOOK: 비전 인코더의 오프-매니폴드 지식을 위한 희소 픽셀 최적화

요약

본 연구는 현대 비전 인코더가 자연 이미지 매니폴드에서 벗어날 때 발생하는 한계를 탐구합니다. 빈 캔버스에 희소 픽셀 편집을 적용하는 방법을 제안하고, 이를 통해 오프-매니폴드 지식을 분석했습니다. OpenCLIP과 DINOv3 등 최신 인코더에서 이 방법이 높은 타겟 검색 성능을 달성하며, 비의미적인 입력도 의미 영역으로 진입할 수 있음을 입증합니다.

핵심 포인트

• 비전 인코더는 자연 이미지 매니폴드에서 벗어날 때 한계가 발생함.
• 희소 픽셀 편집을 통해 빈 캔버스에서 오프-매니폴드를 탐색하는 방법을 제안함.
• OpenCLIP과 DINOv3 모두 클래스 프로토타입 방향 최적화로 높은 검색 성능을 보임.
• 시각적으로 비의미적인 입력도 타겟 의미 영역으로 진입 가능함을 확인.