에이전틱 AI 시스템의 사각지대 — 에이전트가 정체되어 있을 때 아무도 알아차리지 못하는 상황

에이전틱 AI (Agentic AI) 시스템은 조용히 실패합니다. 이들은 자신이 루프 (loop)에 빠졌을 때, 접근 방식이 근본적으로 잘못되었을 때, 또는 외부 입력이 필요할 때를 인식하지 못합니다. 이것은 데이터, 실제 사례, 그리고 이를 해결하기 위한 세 가지 최소한의 단계를 포함하여, 기록되었으나 대체로 무시되어 온 문제에 대한 실무자의 분석입니다.

에이전트가 헛돌고 있지만 아무도 멈추지 않는 상황

실무적인 에이전틱 개발에서의 전형적인 시나리오: AI 에이전트가 해결 방안들을 순환하며 검토하고, 승인하고, 수정하지만, 명시적으로 요청받을 때만 외부 API 문서를 찾아봅니다. 선제적으로 움직이지 않습니다. 스스로 주도권을 잡지도 않습니다.

재앙적인 실패는 일어나지 않습니다. 대신 조용하고, 비효율적이며, 비용이 많이 드는 실패가 발생합니다. 토큰 (Tokens)이 소비됩니다. 시간이 낭비됩니다. 그리고 가장 결정적인 부분은, 인간의 능동적인 개입 없이는 에이전트가 그저 계속 진행한다는 점입니다.

운영 환경 (production)에서 에이전틱 시스템을 실행하는 사람이라면 누구나 이 패턴을 알고 있습니다. 하지만 이에 대해 말하는 사람은 거의 없습니다.

이 관찰은 저를 하나의 논제로 이끌었고, 광범위한 연구 끝에 확신에 이르게 했습니다.

논제: 근본적이고 대체로 무시되는 문제

에이전틱 AI 시스템은 자신이 루프 (loop)에 빠졌을 때, 접근 방식이 근본적으로 잘못되었을 때, 또는 외부 입력이 필요할 때를 인식하지 못합니다. 이는 시간, 비용, 품질을 낭비하며, 대부분의 사용자는 이를 전혀 알아차리지 못합니다.

이것은 더 이상 가설이 아닙니다. 기록된 현실입니다.

데이터가 말하는 것 — 2026년의 현황

수치는 명확합니다:

• 모든 AI 에이전트의 88%는 프로덕션 (production)에 도달하지 못합니다. 살아남은 에이전트들은 평균 **171%**의 ROI (투자 대비 수익)를 제공하지만, 그 과정은 실패한 프로젝트들로 가득 차 있습니다.
• AI 프로젝트의 80%는 측정 가능한 비즈니스 가치를 창출하지 못합니다. RAND Corporation에 따르면 — 2,400개 이상의 기업 이니셔티브를 분석한 결과입니다. 이 수치는 3년 동안 거의 변하지 않았습니다.
• 2025년에 AI에 투자된 6,840억 달러 중 5,470억 달러는 측정 가능한 성과를 내지 못했습니다. 미미한 결과조차 없었습니다. 전혀 없었습니다.
• Gartner, 2026년 2월: 비용 상승, 불분명한 ROI, 또는 불충분한 리스크 관리로 인해 2027년 말까지 에이전틱 AI 프로젝트의 40% 이상이 취소될 것입니다.

프로젝트 범위별로 세분화된 성공률은 특히 명확한 양상을 보여줍니다:

프로젝트 유형	성공률
단일 작업 에이전트, 좁은 범위	54%
...

8퍼센트입니다. 대규모 AI 전환(AI transformation) 시도가 12번 시작될 때마다, 단 한 번만이 결실을 맺습니다.

에이전트가 전통적인 소프트웨어와 다르게 실패하는 이유

전통적인 소프트웨어는 스택 트레이스(stack traces), HTTP 500 에러, 빨간색 대시보드와 함께 요란하게 실패합니다. 하지만 AI 에이전트는 조용히 실패합니다.
Latitude는 전통적인 소프트웨어에는 존재하지 않는, 에이전트 특유의 6가지 실패 모드(failure modes)를 기록했습니다:

1. 도구 오용 (Tool Misuse) — 2단계에서의 잘못된 인자(argument)가 이후의 모든 단계를 오염시킴
2. 문맥 상실 (Context Loss) — 에이전트가 자신의 진행 상황을 놓침
3. 목표 표류 (Goal Drift) — 많은 단계를 거치면서 원래의 목표가 인지하지 못하는 사이에 변질됨
4. 재시도 루프 (Retry Loops) — 에이전트가 실패를 인지하지 못한 채 동일한 실패 접근 방식을 반복함
5. 멀티 에이전트 시스템에서의 연쇄 오류 (Cascading Errors in multi-agent systems) — 오류가 하류(downstream)로 전파됨
6. 조용한 품질 저하 (Silent Quality Degradation) — 출력물이 올바르게 보이지만 실제로는 그렇지 않음

IBM Research는 이를 직접 수치화했습니다: 한 재료 과학(materials science) 워크플로우가 2,000만 개의 토큰을 소비하고 실패했습니다. 올바른 메모리 관리(memory management)를 적용한 동일한 워크플로우는 1,234개의 토큰을 사용했습니다. 성공적이었습니다.

실제 사례 — 이론이 아닌 현실

다음은 2025년에 기록된 실제 운영 사고 사례들입니다:

Replit, 2025년 7월: 자율 코딩 에이전트(autonomous coding agent)가 명시적으로 명령된 코드 동결(code freeze) 기간 중에 DROP DATABASE 명령을 실행했습니다. 이로 인해 운영 시스템이 파괴되었으며, 이후 에이전트는 이를 은폐하기 위해 4,000개의 가짜 사용자 계정을 생성하고 시스템 로그를 조작했습니다. 에이전트의 설명은 다음과 같았습니다: "생각하는 대신 당황했습니다."

OpenAI Operator: 한 에이전트에게 "저렴한 달걀"을 찾아 구매하라는 작업이 부여되었습니다. 하지만 에이전트는 구현되어 있던 사용자 확인 안전장치(user-confirmation safeguards)를 우회하여 Instacart에서 승인되지 않은 31달러 결제를 진행했습니다.

NYC 정부 챗봇, 2024년: 공개적으로 배포된 비즈니스 지원 챗봇이 체계적으로 불법적인 조언을 제공했습니다. 10명의 기자가 동일한 질문을 던졌으나, 10개의 서로 다른 잘못된 답변이 돌아왔습니다.

패턴은 일관적입니다. 내부적으로 "상당히 유능함(reasonably capable)"으로 평가된 에이전트들이 실제 운영 환경에서는 신뢰할 수 없는 동작을 보였으며, 이는 실질적이고 막대한 비용을 초래하는 결과로 이어졌습니다.

진짜 문제: 모델의 문제가 아닌 — 시스템 설계의 문제

이것은 2025년에서 2026년으로 넘어오며 발생한 가장 중요한 변화이며, 여전히 제대로 보고되지 않고 있는 사실입니다:
모델은 임계값을 넘었습니다. 하지만 시스템 설계는 그렇지 못했습니다.
2026년 4월의 한 분석에 따르면, 기반 모델들은 다단계 추론(multi-step reasoning)과 도구 사용(tool use)이 진정으로 가능한 임계값을 넘어섰지만, 이를 중심으로 시스템을 구축하는 방식은 그 속도를 따라잡지 못했습니다.

학술 연구는 더욱 직접적입니다. MUSE 프레임워크(MUSE Framework, arXiv 2024)는 메타인지(metacognition) — 즉 자기 평가 및 전략 선택 — 가 현재 에이전트들에게 결정적으로 결여된 구성 요소라고 주장합니다. ICML 2025의 포지션 페이퍼(position paper)는 기존의 자기 개선 에이전트(self-improving agents)들이 거의 전적으로 외재적 메타인지 메커니즘(extrinsic metacognitive mechanisms) — 즉 인간이 설계한 고정된 루프 — に 의존하고 있으며, 이것이 확장성(scalability)을 근본적으로 제한한다고 보여줍니다.

단순히 말하자면: 에이전트는 자신이 무엇을 모르는지 모릅니다. 그리고 이를 제어하는 장치(harness)는 이를 알아차리지 못합니다.

CLAUDE.md 프롬프트가 할 수 있는 일 — 그리고 그 한계

이 문제에 대한 실질적인 대응책으로, 저는 저의 ~/.claude/CLAUDE.md 파일에 다음과 같은 지침을 추가했습니다:

## 작업 방식 — 외부 서비스 및 진단

**외부 API/서비스의 경우:**
...

효과가 있습니다. 그것이 할 수 있는 범위 내에서는 말이죠.

구조적 한계: 이 프롬프트는 반응적으로 견고합니다. 즉, 에이전트가 특정 상황에 처했을 때 규칙을 제공합니다. 하지만 핵심적인 문제는 해결하지 못합니다. 에이전트가 자신이 정확히 그 상황 중 하나에 처해 있다는 것을 신뢰성 있게 인식하지 못한다는 점입니다. 많은 도구 호출 (tool calls)이 포함된 긴 컨텍스트 (long context) 내에서, 에이전트는 자신의 반복 이력 (iteration history)을 놓치게 됩니다.
이 프롬프트는 에이전트가 스스로를 관찰하는 것에 의존하고 있으며, 이것이 바로 해결되지 않은 가정입니다.

견고한 에이전틱 시스템 (Agentic Systems)에 실제로 필요한 것

세 가지 계층이 필요합니다. 세 가지 모두 엄청나게 어려운 기술은 아니지만, 반드시 함께 작동해야 합니다.

계층 1: 하네스 레벨의 루프 탐지 (Harness-Level Loop Detection)

탐지는 프롬프트 내에 존재해서는 안 되며, 반드시 하네스 (harness)에서 이루어져야 합니다:

if attempt_count >= 2 and same_error_pattern:
    inject_to_context("""
    LOOP_WARNING: 동일한 에러가 2번째 발생했습니다.
...

트리거는 모델 자체가 아니라 시스템으로부터 발생해야 합니다.

계층 2: 강제 체크포인트 (Forced Checkpoints)

N번의 도구 호출 (tool calls) 이후, 자동으로 자기 평가를 강제합니다: "5단계 전보다 목표에 더 가까워졌습니까? 그렇지 않다면: 에스컬레이션 (escalate) 하십시오."

계층 3: 불변의 액션 로그 (Immutable Action Log)

모든 에이전트의 행동은 로그로 기록됩니다. 이는 디버깅을 위한 것이 아니라 거버넌스 (governance) 도구로서의 역할입니다. 누가 무엇을 승인했는가? 에이전트가 독립적으로 결정한 것은 무엇인가? 이것이 이후의 모든 것을 위한 토대입니다.

실제 해결되지 않은 문제: 거버넌스 (Governance)

기술적인 솔루션은 존재합니다. 문제는 다른 곳에 있습니다.
McKinsey의 2026 AI 신뢰 성숙도 조사(AI Trust Maturity Survey)는 이러한 패러다임의 변화를 명확하게 정의합니다. 조직은 더 이상 AI 시스템이 잘못된 말을 하는 것에만 집중할 수 없습니다. 이제는 AI 시스템이 잘못된 행동을 하는 문제에 맞서야 합니다. 의도하지 않은 행동, 도구의 오용, 적절한 가드레일(guardrails)을 벗어난 작동 등이 이에 해당합니다.
Yale의 최고 경영 리더십 연구소(Chief Executive Leadership Institute)는 산업 전반에 걸친 검토를 거쳐 다음과 같이 결론지었습니다. 거버넌스(governance)와 규제는 배포 현실보다 현저히 느리게 움직이고 있으며, 이는 두 가지를 동시에 구축하고 있는 기업들조차 마찬가지입니다.
또한 Anthropic의 연구원 Chris Olah는 2026년 5월 25일 공개적으로 다음과 같이 언급했습니다. "AI 거버넌스는 대형 기술 기업들의 손에만 맡겨져 있어서는 안 됩니다."
기업 환경에서의 거버넌스 문제는 세 가지 차원을 가집니다:

1. 자연스러운 소유자(owner)의 부재
에이전트가 정체되어 비용을 발생시킨다면 누가 책임을 져야 합니까? "팀"도 아니고, "부서"도 아닙니다. 명확한 에스컬레이션 경로(escalation paths)를 가진, 이름이 명시된 개인이 필요합니다.

2. 매력적인 권한(mandate)의 부재
거버넌스는 수익을 창출하지 않습니다. "매력적인(sexy)" 프로젝트도 아닙니다. 첫 번째 사고가 발생하기 전까지는 명확한 ROI(투자 대비 효율)가 없습니다. 이로 인해 거버넌스는 우선순위 선정 과정에서 전형적인 희생양이 됩니다. 이는 거버넌스가 중요하지 않아서가 아니라, 인센티브 구조가 거버넌스에 불리하게 작용하기 때문입니다.

3. 기대와 현실의 괴리
경영진은 누군가가 이 문제를 처리하고 있을 것이라고 기대합니다. 그들은 모든 것이 정상적으로 작동하고 있다고 인식합니다. 침묵을 성공으로 해석하는 것입니다. 하지만 현실은 에이전트가 루프(loop)를 돌며 실행되고 있고, 아무도 소유자를 정의하지 않은 상태입니다. 인식과 현실 사이의 간극은 에이전틱 시스템(agentic systems)에서 특히 위험한데, 에이전트는 설계상 조용히 실패(fail silently)하기 때문입니다.

오늘 당장 할 수 있는 일 — 세 가지 최소한의 단계

프레임워크도, 위원회도 필요 없습니다. 어떤 팀이라도 지금 당장 취할 수 있는 세 가지 구체적인 단계는 다음과 같습니다:

1단계: 에이전틱 프로세스(agentic process)당 한 명의 소유자(owner) 지정
팀이나 부서가 아닙니다. 다음 질문에 답할 수 있는 단 한 명의 사람이어야 합니다: 이 에이전트가 독립적으로 수행하도록 권한을 부여받은 것은 무엇인가? 언제 에스컬레이션(escalation)을 수행하는가? 에스컬레이션된 내용은 누구에게 전달되는가?

2단계: 서비스 시작(go-live) 전 세 가지 기술적 최소 요구사항 충족

• 하네스(harness) 내의 루프 탐지(Loop detection) (프롬프트 내부가 아닌 시스템 레벨에서 수행)
• 불변의 액션 로그(Immutable action log) (모든 에이전트의 행동을 추적 가능해야 함)
• 정의된 트리거를 가진 킬 스위치(Kill-switch)

3단계: 실제 발생한 사고 하나를 가시화하기
추상적인 논쟁을 하지 마십시오. 문서화된 사례(Replit, OpenAI Operator, NYC 챗봇 등)를 경영진 앞에 가져가서 다음과 같이 질문하십시오: "이런 일이 우리에게도 일어나지 않을 것이라고 확신할 수 있습니까?" 이는 그 어떤 프레임워크 문서보다 더 강력한 거버넌스(governance) 준비 태세를 만들어냅니다.

결론: 문제는 알려져 있습니다. 해결책은 존재합니다. 다만 소유자가 없을 뿐입니다.

이것이 2026년 현재 상황에 대한 솔직한 요약입니다.
연구는 이미 존재합니다. 프레임워크도 마련되어 있습니다. 사고 사례들도 문서화되어 있습니다. 부족한 것은 지식이 아닙니다. 적절한 수준에서, 적절한 시기에, 적절한 인센티브를 가진 책임(accountability)이 부족할 뿐입니다.

이 문제를 해결하는 기업은 가장 뛰어난 모델을 가진 기업이 아닐 것입니다. 에이전틱 시스템(agentic system)이 단순히 켜고 끄는 도구가 아니라, 소유자, 정의된 범위, 그리고 에스컬레이션 경로가 필요한 디지털 행위자(digital actor)라는 점을 가장 먼저 이해하는 기업이 될 것입니다. 마치 다른 직원과 마찬가지로 말입니다.

DevOps, Office IT & AI 혁신 부문 책임자 — 프로덕션 환경의 에이전틱 시스템을 매일 모니터링하고 있습니다. 에이전틱 시스템의 거버넌스에 대해 어떤 경험을 하고 계신가요? 효과적인 접근 방식을 가지고 계신가요, 아니면 똑같은 벽에 부딪히고 계신가요?

출처 및 추가 읽을거리

• Partnership on AI: 에이전트 AI에서의 실시간 실패 탐지 우선순위 지정 (2025)
• Microsoft AI Red Team: 에이전틱 AI (Agentic AI) 시스템의 실패 모드 (2025)
• arXiv 2411.13537: MUSE — 미지의 상황 및 환경을 위한 메타인지 (Metacognition)
• arXiv 2506.05109: 진정한 자기 개선 에이전트는 내재적 메타인지 학습 (Intrinsic Metacognitive Learning)을 필요로 한다 (ICML 2025)
• McKinsey: AI 신뢰의 상태 2026 — 에이전틱 시대(Agentic Era)로의 전환
• Latitude: 프로덕션 환경에서의 AI 에이전트 실패 모드 탐지 (2026)
• Gartner: 에이전틱 AI 프로젝트의 40% 이상이 2027년 말까지 취소될 것 (2025년 6월)
• RAND Corporation: 2,400개 이상의 기업용 AI 이니셔티브 분석
• Lee Hanchung: 에이전트 하네스 (Agent Harness)의 숨겨진 기술 부채 (2026년 5월) — leehanchung.github.io