Visual Question Answering (VQA)은 Vision-Language Models (VLMs)에 상당한 계산 오버헤드를 부과하며, 이는 black-box 환경을 포함하여 다양한 VLM에 쉽게 적용할 수 있는 모델 비의존적 입력 감소 방법을 필요로 합니다. 단순히 시각 토큰(visual-token) 상한을 설정하는 것은 계산량을 줄이지만, 질문에 답하는 데 필요한 정보를 버릴 수 있습니다. 단일 감소 전략만으로는 다양한 시나리오를 모두 수용하기 어렵습니다.
우리의 핵심 관찰은 크롭핑(cropping)과 압축(compression)이 상보적이라는 것입니다. 크롭핑은 작은 목표물과 국소적인 세부 사항을 강조하는 반면, 전체 이미지 압축(whole-image compression)은 큰 목표물이나 분산된 증거에 대한 컨텍스트를 더 잘 보존합니다. 이러한 관찰을 바탕으로, 우리는 입력 이미지와 질문에 따라 크롭핑 또는 압축을 적응적으로 선택하는 C$^2$-Routing을 제안합니다.
두 전략 모두 여전히 핵심 정보를 버릴 수 있기 때문에, 우리는 추가적으로 원본 입력과 감소된 입력에 대한 예측된 결합 정확도 분포(predicted joint correctness distribution)를 사용하여 폴백(fallback)을 안내하고 정확도를 보호하는 안전 게이트(safety gate)를 설계했습니다. 소비자용 GPU 자원 제약을 수용하기 위해, 모든 학습 및 평가 실험은 RTX 3090 GPU에서 실행되었습니다. 토큰 제한을 넘어서는 이득을 측정하기 위해, 우리는 동일한 1,024개의 시각 토큰(visual tokens) 상한을 가진 전체 이미지 기준선(full-image baselines)을 사용합니다.
우리는 국소적 세부 사항, 전역 장면(global scenes), 장면 텍스트(scene text), 문서를 아우르는 3개의 VLM과 18개 데이터셋에 걸쳐 광범위한 평가를 수행했습니다. 시각 예산이 이미 제한된 상태에서, C$^2$-Routing은 평균적으로 최종 대 최종 FLOPs를 36.53% 감소시키고 시각 토큰을 42.36% 감소시키는 동시에, 평균 상대 작업 점수(mean relative task-score) 감소는 단지 0.77%에 불과했습니다.