자율 코딩 에이전트(autonomous coding agents)가 점점 더 긴 호흡의 작업(long-horizon tasks)을 처리할 수 있게 됨에 따라, 이들은 점진적으로 엔드 투 엔드(end-to-end) 소프트웨어 개발을 완료할 수 있는 잠재력을 보여주었습니다. 최근 기존 벤치마크(benchmarks)가 국소적인 코드 편집에서부터 처음부터 시작하는 프로젝트 생성(from-scratch project generation)으로 진화했음에도 불구하고, 여전히 구조적으로 단순화된 단일 스택(single-stack) 애플리케이션에 국한되어 있습니다. 결과적으로, 이들은 실제 엔터프라이즈 SaaS(Software as a Service) 시스템의 이질적인 환경, 풀스택 오케스트레이션(full-stack orchestration), 그리고 시스템 수준의 복잡성을 포착하지 못하며, 이는 현실적인 엔지니어링 제약 조건 하에서 에이전트를 평가하는 데 있어 중요한 격차를 남깁니다.
이 격차를 메우기 위해, 우리는 엔터프라이즈 SaaS 엔지니어링에서 AI 에이전트의 한계를 탐색하기 위해 설계된 최초의 벤치마크인 SaaSBench를 소개합니다. 6개의 SaaS 도메인에 걸친 30개의 복잡한 작업과 5,370개의 검증 노드(validation nodes)로 구성된 이 벤치마크는 8개의 프로그래밍 언어, 6개의 데이터베이스, 13개의 프레임워크를 포함하여 실제 세계의 소프트웨어 이질성(heterogeneity)을 세밀하게 반영합니다. 또한, 우리는 장기적 관점과 다중 구성 요소 결합(multi-component coupling)을 가진 복잡한 시스템에 맞춤화된 의존성 인식 하이브리드 평가 패러다임(dependency-aware hybrid evaluation paradigm)을 설계하여, 세밀하고 재현 가능한 평가를 가능하게 합니다.
결정적으로, 우리의 광범위한 실험은 놀라운 통찰을 보여줍니다. 최첨단(state-of-the-art) 에이전트의 주요 병목 현상은 고립된 코드 로직을 생성하는 것이 아니라, 다중 구성 요소 시스템을 성공적으로 구성하고 통합하는 것입니다. 작업 실패의 95% 이상이 에이전트가 심층적인 비즈니스 로직에 도달하기도 전에 발생하며, 모델들은 종종 과잉 확신(overconfidence)의 희생자가 되어 기초적인 시스템 설정 중에 조기에 중단되거나, 비효율적인 디버깅 루프(debugging loops)에 갇히곤 합니다. 우리는 SaaSBench가 신뢰할 수 있는 시스템 수준의 코딩 에이전트의 진화를 이끄는 실용적이고 도전적인 테스트베드 역할을 하기를 바랍니다. 코드는 \url{https://github.com/ShadeCloak/SaaSbench}에서 확인할 수 있습니다.