ReToken: 시각적 검색을 위한 시각-언어 모델(Vision-Language Models) 성능 향상을 위한 단일 토큰 방식

요약

ReToken은 긴 시각적 문맥을 처리할 때 발생하는 성능 저하와 메모리 문제를 해결하기 위해 제안된 단일 학습 가능 임베딩 방식입니다. 시각적 KV 캐시에서 쿼리와 관련된 희소한 토큰 세트를 검색하여 효율성을 높이며, 다양한 벤치마크에서 성능 향상을 입증했습니다.

핵심 포인트

• 시각적 KV 캐시에서 관련 토큰을 선택하는 단일 임베딩 방식 제안
• Qwen3VL-8B 및 InternVL3.5 등 주요 모델의 성능 대폭 향상
• 긴 비디오에 대한 제로샷 성능 개선 및 효율적인 추론 가능
• 단일 H100 GPU로 학습 및 긴 비디오 추론이 가능한 경량 설계