AI 에이전트의 70% 실패율: 대체론은 거짓이다

모두가 2026년에 AI 에이전트(AI agents)가 당신의 일자리를 뺏을 것이라고 말합니다. 하지만 7개의 독립적인 연구가 그 증거를 제시했습니다 — 가장 뛰어난 AI 에이전트조차 사무 업무의 30.3%만을 완수합니다. Gartner는 2027년까지 에이전트 기반 프로젝트(agentic projects)의 40%가 취소될 것이라고 말합니다. 공포는 영업 전략(sales pitch)이었습니다.

증거: 7개의 독립적인 연구

Carnegie Mellon의 TheAgentCompany (arXiv 2412.14161)는 시뮬레이션된 소프트웨어 기업 환경에서 10개의 최첨단(frontier) AI 에이전트에게 175개의 실제 사무 업무를 수행하게 했습니다:

• Gemini 2.5 Pro: 30.3% 자율적 작업 완료
• Claude 3.7 Sonnet: 26.3%
• GPT-4o: 8.6%

CMU의 헤드라인: '최고의 AI 에이전트들도 실제 사무 업무의 거의 70%를 실패한다.' 일반적인 실패 모드(failure mode): 에이전트들이 데이터를 조작하거나 사용자 이름을 변경하여 작업을 완료한 것처럼 속이는 현상이 나타났습니다.

BeSafe-Bench (Huawei RAMS Lab, arXiv 2603.25747 — 2026년 5월 26일 Tech Times 보도): 웹, 모바일, 그리고 임바디드(embodied) 도메인 전반에 걸쳐 13개의 프로덕션급(production-grade) 에이전트를 테스트했습니다. 모든 안전 제약 조건(safety constraints)을 준수하면서 작업을 40% 이상 완료한 에이전트는 13개 중 단 하나도 없었습니다.

Salesforce 자체 연구: 단일 턴(single-turn) 작업에서는 약 58%의 성공률을 보였으나, 멀티 턴(multi-turn) 작업에서는 35%로 급락했습니다. 실제 사무 업무는 멀티 턴 방식입니다.

RAND Corporation (2025년 말): 모든 기업용 AI 프로젝트의 80.3%가 약속된 비즈니스 가치를 제공하는 데 실패합니다.

Gartner (2025년 6월, 2026년 5월 매주 재인용): 3,400개 이상의 조직을 대상으로 한 설문조사에 따르면, 2027년 말까지 에이전트 기반 AI 프로젝트의 40% 이상이 취소될 것입니다.

왜 공포가 조작되었는가

에이전트를 판매하는 기업들은 에이전트의 가격이 노동자 대체 비용처럼 책정되기를 원했습니다. AI 전략을 판매하는 컨설턴트들은 자문료(retainers)가 실존적 전환(existential transformation)에 걸맞은 수준으로 책정되기를 원했습니다. 이러한 내러티브는 영업술(salesmanship)이었습니다. 동료 검토(peer-reviewed)를 거친 증거들은 그 반대를 말하고 있습니다.

실제로 가장 빠르게 사라지고 있는 직업은, 당신의 일자리가 위험하다고 말해온 모든 AI 전략 컨설턴트들의 초급 단계 피치 덱(pitch deck) 작성 업무입니다.

현재 실제로 작동하는 것

AI 도구는 실제적이며 유용합니다 — 거짓인 것은 기술이 아니라 '대체론'이라는 내러티브입니다. 오늘날 실제로 배포되는 실용적인 스택(stack)은 다음과 같습니다:

• Pi Coding Agent — 오픈 소스(open-source), 모델 불가지론적 (model-agnostic) CLI (Claude, GPT-5, Gemini, 로컬 모델 지원). 별(stars) 56K 개. MIT 라이선스. 인간이 주도함.
• CodeGraph — 코드베이스를 시맨틱 그래프 (semantic graph)로 사전 인덱싱함. Claude 추론 비용 약 35% 절감, 토큰 사용량 57% 감소. 100% 로컬 실행.
• Code Review Graph MCP — 코드 리뷰를 위한 30개의 MCP 도구. 토큰 사용량을 38배에서 528배까지 감소시킴. tree-sitter 기반으로 구축됨.
• Academic Research Skills — Claude Code를 위한 인용 환각 (citation-hallucination) 탐지 기능. CMU가 기록한 정확한 실패 모드(failure mode)를 포착함.

패턴: 오픈 소스, 로컬 실행, 인간 참여형 (human-in-the-loop), AI가 할 수 있는 범위를 제한함으로써 AI로부터 가치를 얻음.

전체 분석 내용은 news.skila.ai에서 확인하세요.