LLM 기반 자율 에이전트(autonomous agents)를 구축하기 위한 SDK 수준의 프레임워크인 Agent Development Kit (ADK)의 급격한 확산은, 프레임워크 선택이 에이전트 성능에 어떤 영향을 미치는지에 대한 실증적 이해보다 빠르게 진행되었습니다. 본 논문에서는 인간 개발자를 대신하여, 문서로부터 각 프레임워크의 API를 학습하고, 에이전트 코드를 작성하며, 테스트를 통과할 때까지 검증 및 피드백 루프(validate-and-feedback loop)를 통해 반복적으로 코드를 수정하는 LLM 코딩 에이전트를 활용하는 방법론인 \textbf{LLM-as-a-Developer}를 제안합니다. 개발자를 고정하고 프레임워크만을 변경함으로써, 생성 노력(generation effort)은 API 사용성(usability)에 대한 정량적 대리 지표(proxy)가 되며, 결과물인 에이전트는 프레임워크 효과성에 대한 통제된 측정치를 제공합니다. 우리는 이를 \textbf{ADK Arena}에서 구현하였으며, 이는 프레임워크별 Docker 격리, 3단계 검증 파이프라인, 그리고 SWE-bench, $\tau^2$-bench, Terminal-Bench, MCP-Atlas를 위한 벤치마크 어댑터(benchmark adapters)를 갖춘 완전 자동화된 파이프라인입니다. 51개의 인기 있는 Python ADK 프레임워크(204개의 에이전트-벤치마크 쌍)를 평가한 결과, 다음과 같은 사실을 발견했습니다: (1) 생성은 실행의 57%에서 성공하며, 비용은 프레임워크에 따라 5.6배 차이가 납니다(에이전트당 $0.6에서 $3.4). 이는 API 복잡성의 정량적 대리 지표이지만, 비용만으로는 성공 여부를 예측할 수 없습니다; (2) 압도적인 단일 프레임워크는 존재하지 않습니다. 단일 벤치마크에서 가장 뛰어난 ADK 에이전트는 작업의 최대 80%를 해결하며, 훨씬 적은 비용으로 범용 프론티어 코딩 에이전트(frontier coding agents)를 심지어 \emph{능가}할 수도 있지만, 중앙값(median) 프레임워크의 해결률은 32%에 불과합니다; (3) 정보 소스 제거 실험(information-source ablations) 전반에 걸쳐, 실제 프레임워크 사용률은 28~40%의 좁은 범위 내에 머물렀습니다(원시 소스 접근 시 가장 높았으며, 참조 자료가 전혀 없는 경우에도 여전히 33%를 기록). 이는 문서(documentation), 소스 코드, 그리고 파라미터 지식(parametric knowledge)이 특정 요소가 결정적인 병목(bottleneck)이 되기보다는 서로 대체 가능한 관계임을 나타냅니다.