AI 에이전트는 왜 실패하는가?

이 기사는 에세이 “Why AI Agents Fail”의 확장 버전입니다. 이 글은 왜 많은 AI 에이전트 (AI agent) 프로젝트들이 약속된 비즈니스 임팩트를 제공하지 못하는지에 대한 2025~2026년의 연구 내용을 포함하며 종합적인 로드맵을 제공합니다. 기술 용어는 적절한 경우 괄호 안에 설명을 병기하여 영문으로 유지되었습니다.

1 서론: 에이전트의 정의와 거품 분류

AI 에이전트 (AI agents)는 언어 모델 (language model)을 중심으로 구축된 소프트웨어 구성 요소입니다. 단일 답변을 생성하는 단순한 챗봇 (chatbot)과 달리, 에이전트는 일련의 행동을 계획하고, 도구 (tools)와 API를 사용하며, 목표를 향해 작동합니다. 이러한 “에이전트형 AI (agentic AI)” 시장은 2024~2026년 사이에 폭발적으로 성장했지만, 대부분의 배포 사례는 기대에 미치지 못하고 있습니다. 업계 분석은 냉혹한 현실을 보여줍니다. MIT의 2025년 연구에 따르면, 기업용 생성형 AI (GenAI) 파일럿 프로젝트의 95%가 측정 가능한 손익 (P&L) 임팩트를 생성하지 못했습니다. Gartner는 2027년 말까지 에이전트형 AI 프로젝트의 40% 이상가 취소될 것이라고 예측했습니다. 또한 수천 명의 벤더들이 기존 제품을 “에이전트 세척 (agent-washing)”하고 있는 반면, 실제로 에이전트 기능을 제공하는 곳은 약 130개뿐이라고 경고했습니다. Carnegie Mellon의 TheAgentCompany 시뮬레이션에서 Claude 3.5 Sonnet은 현실적인 사무 업무의 24%만을 완료했으며, GPT-4o는 8.6%를 달성했습니다. 이 연구는 초기 단계의 작은 오류가 연쇄적인 실패 (cascading failures)를 유발한다는 것을 발견했습니다. 이러한 수치들은 실패의 원인이 모델이 약하기 때문이 아님을 시사합니다. 오히려 부실한 아키텍처 (architecture), 통합 (integration), 평가 (evaluation), 거버넌스 (governance) 및 인간의 감독 (human oversight)이 프로젝트를 무너뜨립니다. Anil Dash 및 Andrej Karpathy와 같은 기술 업계 내부자들은 AI가 마법이 아니며, 완전 자율 에이전트 (fully autonomous agents)는 여전히 공상 과학이라고 상기시킵니다. Jay Latta는 LLM이 즉석에서 학습하지 않으며, 마케팅 언어가 종종 한계를 가린다고 언급합니다.

2 에이전트 실패의 근본 원인

2.1 컨텍스트 관리 및 컨텍스트 부채 (Context Debt)

엔지니어들은 종종 모델의 품질이 성공을 결정한다고 가정합니다. 하지만 Inkeep의 2025년 “컨텍스트 엔지니어링 (context engineering)” 분석에 따르면, 대부분의 실패는 컨텍스트 (context, 모델에 입력되는 정보)를 어떻게 처리하느냐에서 비롯됩니다.

부실한 컨텍스트 관리 (context management)는 세 가지 문제를 야기합니다: 컨텍스트 오염 (Context pollution) – 에이전트의 프롬프트 (prompt)에 너무 많은 무관한 데이터를 끌어오는 것(“멍청한 RAG”)은 모델을 압도하고 환각 (hallucination)을 증가시킵니다. 도구 비대화 (Tool bloat) – 너무 많은 도구를 추가한다고 해서 성능이 향상되지는 않습니다. 연구에 따르면 에이전트는 도구가 5~10개를 넘어가면 성능이 저하되며, 특화된 서브 에이전트 (sub-agents)가 더 나은 성능을 보입니다. 메모리 및 요약 (Memory and summarization) – 대화 전체를 저장하는 것은 토큰 (token)을 낭비하고 컨텍스트를 오염시킵니다. 에이전트는 요약하고 관련 있는 정보만을 검색해야 합니다. 컨텍스트는 유한한 예산 (finite budget)으로 취급되어야 합니다. 컨텍스트 부채 (context debt, 사용되지 않거나 무관한 데이터가 작업 전반에 걸쳐 지속되는 현상)가 쌓이면 비용과 오류율이 상승합니다. 더 강력한 모델이라도 이 문제를 해결하지 못하며, 오히려 틀린 답을 더 설득력 있게 만듭니다.

2.2 통합 격차 및 취약한 커넥터 (Integration Gaps and Brittle Connectors)
Composio의 2025 AI 에이전트 보고서는 대부분의 파일럿 프로젝트가 모델의 문제가 아니라 통합 격차 (integration gaps) 때문에 실패한다고 주장합니다. 보고서는 세 가지 함정을 식별합니다: 멍청한 RAG (Dumb RAG): 모든 기업 데이터를 컨텍스트에 쏟아붓는 것. 취약한 커넥터 (Brittle connectors): 쉽게 깨지는 취약한 API 바인딩 (API bindings). 폴링 세금 (Polling tax): 이벤트 기반 아키텍처 (event-driven architecture)를 사용하는 대신 업데이트를 위해 폴링 (polling)을 수행하는 시스템. 이를 해결하기 위해 Composio는 네 가지 원칙을 가진 에이전트 네이티브 통합 계층 (agent-native integration layer)을 제안합니다: (1) 컨텍스트 정밀도 (context precision, 필요한 것만 가져오기), (2) 양방향 이벤트 기반 I/O (bidirectional event-driven I/O), (3) 정책 및 거버넌스 강제 (policy and governance enforcement), (4) 관찰 가능성 및 테스트 가능성 (observability and testability).

2.3 다단계 취약성 및 작업 복잡성 (Multi-Step Brittleness and Task Complexity)
Carnegie Mellon의 시뮬레이션에 따르면 에이전트는 다단계 작업 (multi-step tasks)에서 어려움을 겪습니다. 에이전트가 여러 단계를 계획하고 실행해야 했을 때 70%의 확률로 실패했습니다. 이메일 초안 작성, 데이터 형식 지정, 텍스트 요약과 같은 가장 단순한 작업은 결과가 더 좋았지만, API 호출, 탐색 또는 조정이 필요한 작업은 종종 무너졌습니다. Future Factor의 2026년 분석은 인간이 루프 내에 있어야 하는(human-in-the-loop) 시점을 결정하기 위한 프레임워크를 제안합니다: 작업의 위험도, 입력의 불확실성, 오류 비용을 평가하고, 프로덕션 (production)으로 넘어가기 전에 시범적인 “검토 모드 (review mode)”를 강제하는 것입니다.

2.4 평가 (Evaluation) 및 관측 가능성 (Observability)
많은 조직이 관측 가능성 (observability) 및 평가 인프라를 갖추지 못하고 있습니다. Atlan의 AI 에이전트 관측 가능성 가이드는 세 가지 필수 구성 요소를 정의합니다: (1) 엔드 투 엔드 (end-to-end) 실행 트레이스 (execution traces), (2) 핵심 지표 (latency, cost, success rate, token usage, hallucination rate), (3) 거버넌스가 적용된 컨텍스트 그래프 (context graph)와 연결된 로깅 (logging). 이 가이드는 불충분한 거버넌스 (governance)와 관측 가능성 (observability)으로 인해 2030년까지 AI 배포의 50%가 실패할 것이라고 경고합니다. Tricentis의 평가 프레임워크 (evaluation framework)는 성공 기준 정의, 각 추론 단계 (reasoning step) 로깅, 테스트 케이스 작성, 그리고 "하드" 지표 (도구 정확성, latency, 정책 위반)와 "소프트" 지표 (추론 품질, hallucination)를 모두 측정하는 것을 강조합니다. Afiniti Global은 행동 드리프트 (behavioral drift), 취약한 통합 (brittle integrations), 평가 인프라 부족, 그리고 불투명한 운영으로 인해 B2B 에이전트 파일럿의 70%가 프로덕션 (production) 단계에 도달하지 못한다고 보고합니다.

2.5 거버넌스 (Governance), 인간의 감독 (Human Oversight) 및 안전 (Safety)
많은 실패는 잘못된 결정을 무효화할 수 있는 메커니즘이 없기 때문에 발생합니다. Elementum AI의 2026년 분석에 따르면, 구조화된 인간의 감독이 존재하지 않을 때 에이전트는 복잡한 작업의 70%에서 실패합니다. 이들은 세 가지 수준의 인간 참여를 제안합니다: Human-in-the-loop: 에이전트가 중요한 작업 (금융 이체, 의료 결정, 법적 단계)을 실행하기 전에 반드시 승인을 받아야 합니다. Human-on-the-loop: 에이전트가 작업을 완료하지만, 인간이 출력을 검토하고 지속적인 개선을 위해 피드백을 제공합니다. Human-out-of-the-loop: 저위험, 단일 단계 작업에 적용되며, 자동화된 알림이 여전히 성능을 모니터링합니다. Elementum은 네 가지 위험 범주를 나열합니다: 법적 책임을 초래하는 hallucination, 목표 불일치 (예: 코드 어시스턴트가 실수로 프로덕션 데이터베이스를 삭제하는 경우), 보안 취약점 (prompt injection), 그리고 개인정보 유출이나 개인에게 해를 끼치는 것과 같은 기타 문제들입니다.

3 신뢰할 수 있는 에이전트를 위한 4계층 아키텍처 (The Four-Layer Architecture for Reliable Agents)

Afiniti Global은 에이전트를 프로덕션 수준(production-ready)으로 만들기 위해 다음과 같은 4계층 아키텍처를 제안합니다:

• 계획 계층 (Planning layer): 작업을 하위 목표(sub-goals)로 분해하고 어떤 도구(tools)를 사용할지 결정합니다. 계획과 실행을 분리합니다.
• 도구 계층 (Tools layer): 에이전트가 호출하는 함수와 API의 집합입니다. 각 도구는 멱등성(idempotent)을 가져야 하며, 구조화된 데이터(structured data)를 반환하고 오류를 유연하게 처리해야 합니다.
• 평가 계층 (Evaluation layer): 테스트 스위트(test suites), 궤적 기반 평가(trajectory-based evaluations), 그리고 결과 지향적 지표(outcome-oriented metrics)를 포함합니다. 평가 하네스(evaluation harnesses)를 구축하는 데 전체 프로젝트 비용의 약 15~25%가 소요되지만, 이것이 없다면 모든 모델 업데이트는 주사위를 던지는 것과 같습니다.
• 운영 계층 (Operations layer): 로깅(logging), 모니터링(monitoring), 트래픽 셰이핑(traffic shaping), 롤백(rollback) 및 비상 정지 메커니즘을 다룹니다.

이 아키텍처는 행동 드리프트(behavioral drift), 취약한 통합(brittle integrations), 테스트 누락, 그리고 운영의 불투명성(operational opacity)을 완화합니다.

4 대시보드: 주요 지표 및 KPI (Dashboard: Key Metrics and KPIs)

에이전트에는 정량적 지표(hard metrics)와 정성적 지표(soft metrics)를 결합한 대시보드가 필요합니다. 권장되는 지표는 다음과 같습니다:

지표 (Metric)	설명 (Description)	목표 (Target)	참고 사항 (Notes)
작업 완료율 (Task completion rate)	에이전트가 올바르게 완료한 작업의 비율	정의된 작업에 대해 >90%	현재 주요 모델들은 다단계(multi-step) 작업에서 24~30%의 점수를 기록함
작업당 비용 (Cost per task)	총 토큰, API 및 컴퓨팅 비용	인간의 노동력보다 낮을 것	ROI 계산에 중요함
환각률 (Hallucination rate)	부정확하거나 조작된 응답의 빈도	<1%	환각은 법적 책임(legal liability)을 발생시킴
컨텍스트 부채 (Context debt)	무관한 컨텍스트의 누적	최소화	컨텍스트를 한정된 예산으로 취급할 것
인간 개입률 (Human-in-the-loop intervention rate)	인간의 승인이 필요한 작업의 비율	작업 위험도에 따라 조정	계층적 감독 모델(tiered oversight model)을 사용함
지연 시간 (Latency)	작업을 완료하는 데 걸리는 엔드 투 엔드(end-to-end) 시간	SLA와 일치	고객 대면 에이전트에게 매우 중요함
안전 및 준수 지표 (Safety & compliance indicators)	정책 위반, 데이터 유출, 법적 리스크	무관용 (Zero tolerance)	많은 에이전트가 robots.txt를 무시하고 자신이 봇임을 밝히지 않음
사용자 만족도 (User satisfaction)	인간 피드백 점수	높음	2026 AI 에이전트 벤치마크(AI Agent Benchmarks)에 포함됨

이러한 지표들을 전체 실행 추적(execution traces)과 결합하면 팀은 실패 원인을 진단하고 성능을 개선할 수 있습니다.

5. 리더를 위한 로드맵
   리더들은 기술 그 너머를 바라보아야 하며, 에이전트 프로젝트를 시작하기 전에 다섯 가지 전략적 질문을 던져야 합니다:

• 컨텍스트 및 데이터 소유권 (Context and data ownership): 에이전트가 어떤 데이터에 접근합니까? 개인정보 보호, 보안 및 컴플라이언스(compliance)를 어떻게 처리합니까? 컨텍스트 부채(context debt)를 어떻게 관리할 것입니까?
• 의사결정 권한 및 책임 (Decision rights and accountability): 어떤 작업에 인간의 승인이 필요합니까? 인간의 감독(human oversight) 수준은 어느 정도입니까? 작업을 되돌리거나(roll back) 에이전트를 중단할 수 있습니까?
• 통합 및 도구 관리 (Integration and tool management): 우리의 API는 멱등성(idempotent)을 보장하며 버전 관리가 되고 있습니까? 취약한 커넥터(brittle connectors)와 폴링 세금(polling tax)을 피하도록 설계되었습니까?
• 평가 및 테스트 인프라 (Evaluation and test infrastructure): 각 도구와 워크플로우에 대한 테스트 스위트(test suites)를 보유하고 있습니까? 하드 메트릭(hard metrics)과 소프트 메트릭(soft metrics)을 지속적으로 측정하고 있습니까? 평가 하네스(evaluation harnesses) 구축을 위한 예산을 편성했습니까?
• 팀 기술 및 문화 (Team skills and culture): 팀이 에이전트의 한계와 리스크를 이해하고 있습니까? 교육과 정책이 마련되어 있습니까? 과장된 광고(hype)와 현실을 구분할 수 있는 리더십을 육성하고 있습니까?

이 질문들에 답하는 과정이 프로젝트의 범위, 리스크 프로필 및 거버넌스 모델을 형성합니다.

6. 결론: 현실적인 기대치와 책임 있는 설계
   AI 에이전트는 모델이 부적절해서가 아니라, 설계, 통합, 관찰 가능성(observability) 및 거버넌스가 미흡하기 때문에 실패하는 경우가 많습니다. 문제 해결을 위해 더 큰 모델이나 더 많은 도구를 투입하는 것은 컨텍스트 부채, 통합의 취약성 및 테스트되지 않은 워크플로우를 가중시킬 뿐입니다. 배포된 많은 에이전트들이 투명성과 안전 표준이 부족한 실정입니다.

하지만 책임감 있게 설계된다면 에이전트는 실질적인 가치를 창출할 수 있습니다. 인간 참여형 감독(human-in-the-loop supervision)을 갖춘 모듈형 에이전트는 단일 단계의 잘 정의된 작업에서 탁월한 성능을 발휘합니다. 4계층 아키텍처(four-layer architecture), 평가 하네스 및 운영 모니터링은 복잡한 작업조차 실행 가능하게 만듭니다. 무엇보다도, 리더들은 과장된 광고를 넘어 책임감과 투명성을 수용해야 합니다.

Acemoglu와 Robinson의 제도 이론 (institutional theory)을 빌려오자면, 성공적인 에이전트 시스템 (agentic systems)은 투명하고, 책임감 있으며, 유연한 포용적 제도 (inclusive institutions)와 닮아 있습니다. 착취적이고, 불투명하며, 단일체적인 (monolithic) 시스템은 단기적인 승리를 가져다줄 수는 있지만 취약합니다. 차세대 AI 시스템은 더 나은 모델뿐만 아니라 적절한 아키텍처 (architecture), 컨텍스트 관리 (context management), 인간의 감독 (human oversight) 그리고 윤리적 거버넌스 (ethical governance)를 통해 성공할 것입니다.

⸻ 참고 문헌: Inkeep “Context Engineering” (2025); Composio “AI Agent Report” (2025); Carnegie Mellon University “TheAgentCompany Simulation” (2025); Atlan “AI Agent Observability” (2026); Tricentis “AI Agent Evaluation Framework” (2025); Elementum AI “Human‑in‑the‑Loop Agentic AI” (2026); Afiniti Global “Why 70 % of B2B AI Agent Pilots Fail Production” (2026); Future Factors “The 70 % Problem” (2026); MIT “The 2025 AI Agent Index” (2025); Newsworthy.ai 및 The Register의 AI 에이전트 성능 관련 보도. ⸻