줌(Zoom)하기 전에 살펴보기: Visual RAG의 해상도-컨텍스트 트레이드오프를 위한 적응형 라우팅 (Adaptive Routing

요약

시각-언어 모델(VLM)의 해상도와 컨텍스트 간 트레이드오프 문제를 해결하기 위한 경량 프레임워크 ViRGo를 제안합니다. 객체 크기에 따라 전역 인지, 패치 기반 검색, 어텐션 기반 검색 중 최적의 방식을 선택하는 적응형 라우팅을 통해 정확도와 효율성을 동시에 개선합니다.

핵심 포인트

• VLM의 작은 객체 인식 문제를 해결하기 위한 적응형 라우팅 프레임워크 ViRGo 소개
• 객체 규모와 시맨틱 토큰 신뢰도를 결합하여 최적의 시각적 검색 방식 선택
• 전역 인지, 패치 기반 검색, 어텐션 기반 검색 간의 효율적 스위칭 구현
• 정확도와 추론 시간 사이의 트레이드오프를 최적화하여 성능 향상