AI 에이전트가 비즈니스 규칙을 준수하면서 실제 SaaS 워크플로우를 자동화할 수 있는지 테스트하는 Zapier의 AutomationBench를 위한 당사의 독립적 리더보드인 AutomationBench-AA를 발표합니다.

당사는 @zapier와 협력하여 그들의 비공개 벤치마크 서브셋(subset)에서 AutomationBench-AA를 실행했습니다. 이 벤치마크는 시뮬레이션된 SaaS 애플리케이션 전반에 걸친 복잡한 에이전트 워크플로우 자동화 테스트입니다. 모델은 Gmail, Google Sheets, Slack, Salesforce, Zendesk, Jira, HubSpot을 포함한 40개의 시뮬레이션된 앱 환경에서 작동하며 Finance, HR, Marketing, Operations, Sales, Support를 아우르는 657개의 작업을 완료해야 합니다.

Zapier의 호스팅 리더보드와 달리, AutomationBench-AA의 헤드라인 점수는 모델이 가드레일(guardrails)을 위반하지 않고 완료한 목표의 비율을 보여줍니다. @AnthropicAI의 Claude Fable 5와 Opus 4.8이 각각 48.6%와 48.5%의 점수로 앞서고 있으며, @GoogleDeepMind의 Gemini 3.5 Flash가 42.6%, @OpenAI의 GPT-5.5 (xhigh)가 42.1%로 그 뒤를 잇고 있습니다. Anthropic의 새로운 분류기(classifier)로 인해, Fable 5는 약 18%의 작업에서 Opus로 전환되었습니다.

AutomationBench의 핵심 요소:

➤ 실제 워크플로우 패턴, 시뮬레이션된 환경: 작업은 Zapier의 실제 워크플로우 패턴에서 추출되었으며, CRM, 이메일, 캘린더, 메시징 플랫폼과 같은 다양한 애플리케이션에 걸쳐 단일 작업이 수행될 수 있는 시뮬레이션된 SaaS 환경에서 실행됩니다.

➤ 자율적인 API 발견: 모델은 REST API를 통해 각 앱과 상호 작용하며, 구조화된 도구 호출(tool calls)을 통해 필요한 엔드포인트(endpoints)를 발견하고, 관련이 없거나 때로는 오해를 불러일으킬 수 있는 기록이 있는 환경을 탐색합니다.

➤ 목표 및 가드레일: 모델은 모델이 작업을 완전히 올바르게 완료했는지 테스트하기 위해 Zapier가 구축한 약 12,000개의 어설션(assertions)을 기준으로 점수가 매겨집니다. 각 어설션은 에이전트가 반드시 달성해야 하는 목표(objective) 또는 초기에 이미 통과되어 있으며 깨뜨려서는 안 되는 가드레일(guardrail) 중 하나로 분류됩니다.

➤ 프로그래밍 방식의 환경 채점 (Programmatic environment grading): 작업은 환경에 대한 결정론적 검사 (deterministic checks)를 통해 올바른 데이터가 적절한 시스템에 도달했는지 여부만으로 채점됩니다. 각 작업은 최대 50턴 (50-turn cap) 제한 내에서 한 번 실행됩니다.

AutomationBench-AA의 주요 결과:

➤ Claude Fable 5 (max)가 48.6%로 앞서고 있으나, 약 18%의 작업에서는 Opus 4.8로 폴백 (fallback)됩니다. 이 모델은 작업 목표의 73%를 완료하며, 이러한 폴백 동작이 Opus 대비 향상 폭이 제한적인 이유로 보입니다.

➤ 모든 모델이 비즈니스 규칙을 위반합니다: 가드레일 (guardrail) 위반 횟수는 작업당 0.46회 (Gemini 3.5 Flash)에서 1.26회 (Qwen3.7 Plus) 사이입니다. Gemini 3.5 Flash는 가드레일 위반 1회당 15.0개의 목표를 완료하여, Claude Opus 4.8 (최대 13.5)을 앞지르며 모든 모델 중 가장 좋은 비율을 기록했습니다.

➤ Gemini 3.5 Flash는 가격 대비 우수한 성능을 보여줍니다: 42.6%의 성능과 작업당 $0.49의 비용으로, GPT-5.5 (xhigh, 42.1%, 작업당 $1.32)와 거의 대등한 성능을 약 37%의 비용으로 효과적으로 달성했습니다.

➤ @Zai_org의 GLM-5.2 (max)는 27.8%로 선두를 달리는 오픈 웨이트 (open weights) 모델입니다. 이는 오픈 웨이트 프런티어 (open weights frontier)가 Gemini 3.1 Pro Preview보다 약 10포인트 뒤처져 있으며, 작업당 가드레일 위반 횟수는 상당히 더 높음을 의미합니다.

➤ 금융 (Finance) 워크플로우 작업은 현재 자동화하기 가장 어렵습니다: 출시 시점에 평가한 모델 전반에 걸쳐, 에이전트들은 지원 (Support) 및 운영 (Operations) 작업과 비교했을 때 금융 작업에서 목표 달성 비율이 대략 절반 수준에 그쳤습니다.

중요한 SaaS 워크플로우를 위한 평가 도구를 개발한 Zapier와 벤치마크 저자들의 훌륭한 노고에 감사드리며, Artificial Analysis에서 AutomationBench를 출시할 수 있도록 협력해 주신 점에 감사드립니다!