웹 에이전트 (Web agents)는 텍스트, 픽셀, 또는 두 가지 모두를 통해 브라우저를 관찰하며, 이 선택은 보통 모든 작업에 대해 한 번 정해지면 고정됩니다. 우리는 VisualWebArena와 WebArena에서 8개의 사이트-모델 조합(cells)에 걸쳐 6가지 관찰 모드 (observation modes)를 측정하고, 작업별로 모드를 선택했을 때 얻을 수 있는 이득이 무엇인지 질문합니다. 이 모드들은 상호 보완적입니다. 각 모드는 다른 모드가 놓치는 작업을 해결하며, 구조적으로 서로 다른 방식으로 실패하고, 최선의 선택은 작업 세트 사이에서 반전됩니다. 모든 작업에 대해 승리하는 모드를 선택하는 오라클 (oracle)이라는 명백한 보상은 커 보이지만, 실행 간 노이즈 (run-to-run noise)에 의해 부풀려져 있습니다. 동일한 작업을 동일한 모드로 재실행할 경우 결과의 12-14%가 변하므로, 이미 보유한 모드를 두 번째 실행하는 것이 새로운 모드를 추가하는 것만큼의 이득을 얻습니다. 살아남는 것은 비용 경계 (cost bound)입니다. 어떤 모드도 해결하지 못하는 작업만을 가장 저렴한 모드로 보내면, 성공률을 유지하면서 8개 셀 중 8개 모두에서 비용을 9.5-30.6% 절감할 수 있습니다. 그런 다음 우리는 다섯 가지 라우팅 정책 (모드 선택, 강력한 모드에 비용을 지불할 시점 결정, 작업 텍스트에서 읽어낸 비용 제로 규칙, 신뢰도 캐스케이드 (confidence cascade), 풀링된 비용 계층 (pooled cost tiers))을 테스트했으나, 그 중 어떤 것도 잘 선택된 하나의 모드를 고정하는 방식을 견고하게 능가하지 못했습니다. 유일한 예외는 가장 희소한(sparsest) 셀에서의 취약한 결과뿐입니다. 핵심적인 장애물은 라우팅 감독 (routing supervision)이 에이전트의 성공률에 따라 생성된다는 점입니다. 즉, 에이전트가 약할수록 라우터가 얻는 레이블 (labels)이 적어지며, 이는 바로 라우팅이 가장 가치 있을 지점입니다. 이 한계는 라우팅 자체보다는 오늘날의 에이전트들에게 속하는 문제입니다. 레이블 공급과 라우팅 기회는 함께 상승하며 (모든 셀에 걸쳐 상관관계 0.95), 따라서 더 강력한 에이전트는 이 결과를 뒤집을 수 있습니다. 우리는 재실행 노이즈 범위와 전체 측정 프로토콜을 보고합니다.