제거하지 말고 재라우팅하라: 시각-언어 모델(VLM)을 위한 복구 가능한 시각적 토큰 라우팅

요약

기존 VLM의 시각적 토큰 제거 방식은 비가역적이라 정보 손실이 발생합니다. 이를 해결하기 위해 선택되지 않은 토큰을 폐기하지 않고 다음 단계에서 재사용하는 'Reroute' 기술을 제안합니다.

핵심 포인트

• 기존의 순위 지정 후 제거(rank-and-remove) 방식의 취약성 지적
• 디코더 깊이에 따라 토큰의 중요도가 변하는 특성 반영
• 학습이 필요 없는 플러그인 방식의 복구 가능한 라우팅 제안
• LLaVA-1.5, Qwen 기반 모델에서 VQA 및 접지 성능 향상 입증