우리는 시각적으로 기반을 둔(visually grounded) 도구 호출 에이전트를 위한 벤치마크 및 평가 프레임워크인 MM-ToolSandBox를 소개합니다. 이 프레임워크는 16개 애플리케이션 도메인에 걸쳐 500개 이상의 도구를 아우르는 상태 저장 실행 환경(stateful execution environment)을 제공하며, 에이전트가 점진적으로 도착하는 시각적 입력(visual inputs)을 실행 가능한 도구 호출로 기반화(ground)해야 하고 현실적인 대화 현상(목표 수정, 오류 정정, 상태 변이 등)을 처리해야 하는 다중 이미지, 다중 턴 작업(multi-image, multi-turn tasks)을 지원합니다. 자동화된 시나리오 생성 파이프라인은 정보 흐름 기반 계획(information-flow-guided planning)과 다단계 품질 필터링을 통해 다양하고 시각적으로 기반을 둔 시나리오를 생성하며, 그 결과로 인간 검증을 거친 258개의 명목적 시나리오와 대화형 UI 애플리케이션을 겨냥한 50개의 변형(variants)을 산출합니다. 4B 오픈 가중치 모델부터 최첨단 독점 시스템에 이르기까지 12개의 최신(state-of-the-art) 모델을 평가한 결과, 현재 모델들은 여전히 견고한 시각적 도구 호출 능력이 부족함을 보여주었습니다: 심지어 가장 우수한 모델조차도 50% 미만의 성공률을 달성했습니다. 우리의 실패 분석은 계획(planning)뿐만 아니라 시각적 정밀도(visual precision)가 유능한 모델의 주요 병목 지점임을 추가로 밝혀냈습니다: 전체 실패 사례 중 53%는 그렇지 않은 경우에도 이미지로부터 부정확하게 정보를 추출하는 데서 기인했습니다. 규모에 따른 계획-정밀도 교차점(planning-to-precision crossover)이 나타나는데, 즉 작은 모델은 무엇을 할지 결정하는 데 실패하고, 큰 모델은 보고 있는 것을 인식하는 데 실패하여, 서로 다른 역량 수준의 모델 개선을 위한 근본적으로 다른 연구 방향을 시사합니다. 이 프레임워크와 벤치마크는 https://github.com/apple/ml-mmtoolsandbox에서 공개적으로 이용 가능합니다.