컴퓨터 사용 에이전트(Computer-use agents, CUAs)가 최근 여러 장기 지평선 벤치마크에서 초인적인 성능을 달성했습니다. 그러나 이들의 계산 비용은 비디오 게임과 같은 장기 지평선 작업 및 실시간 도메인에서의 사용을 제한하는 요인이 됩니다. 주요 병목 현상은 각 스크린샷을 수천 개의 시각 토큰(visual tokens)으로 표현하는 것이며, 이는 에이전트가 긴 상호작용 이력을 추론함에 따라 긴 컨텍스트로 축적됩니다.
우리는 이러한 시각 토큰 대부분이 에이전트의 다음 행동과 의미적으로 관련이 없거나(semantically irrelevant), 스크린샷 전반에 걸쳐 시간적으로 중복된다는 것(temporally redundant)을 관찰했습니다. 이 관찰을 바탕으로, 우리는 행동 예측에 필요한 정보를 보존하는 희소한 시각 표현(sparse visual representations) 학습을 위한 공동 훈련 프레임워크인 Visual Token Routing (VTR)을 소개합니다.
VTR에서는 비전-언어 모델(vision-language model)을 가벼운 시공간 라우터(spatio-temporal router)와 함께 훈련합니다. 이 라우터는 현재 및 이전 스크린샷의 각 이미지 영역을 검사하여 해당 시각 토큰이 언어 모델에 들어갈지 여부를 결정합니다. 우리는 성능 저하를 최소화하면서 시각 토큰의 수를 가능한 한 작게 유지하기 위해 적응형 손실(adaptive loss)을 사용하여 라우터를 최적화합니다.
단 2,000개의 훈련 단계만으로 VTR은 OSWorld, CUA-World 및 비디오 게임 행동 예측에서 전체 해상도 모델과 동등한 성능을 달성하면서도 시각 토큰을 2.5~5.8배 적게 사용합니다. 이러한 절감액은 추론 비용(inference cost)을 최대 3.3배까지 줄이고, 프리필(prefill) 속도를 최대 2.9배까지 높입니다. VTR은 또한 이미지 해상도를 낮추거나 토큰을 제거하는 다른 기준 모델(baselines)보다 OSWorld에서 최대 12.8점까지 우수한 성능을 보입니다.
전반적으로 VTR은 컴퓨터 사용 에이전트가 필요한 시각 토큰만 처리할 수 있도록 하여, 계산 비용의 일부만을 사용하여 장기 지평선 작업 및 실시간 도메인에 활용될 수 있게 합니다. 코드와 모델은 https://pranjal2041.github.io/vtr에서 이용 가능합니다.