인기 있는 3가지 AI Agent에 대해 헬스 체크를 실시했습니다. 결과는 끔찍했습니다. 당신은 100줄의 에이전트(agent) 코드를 작성했습니다. OpenAI API를 호출하고, 도구(tool)를 연결하고, 아마도 재시도 루프(retry loop)를 추가했을 것입니다. 데모에서는 잘 작동합니다. 스테이징(staging) 환경에서도 잘 작동합니다. 그리고 배포합니다. 하지만 그것이 실제로 얼마나 취약한지 확인해 보았습니까? 저는 세 가지 인기 있는 오픈 소스 에이전트 프로젝트를 대상으로 Python 코드베이스의 에이전트 건강 위험을 스캔하는 오픈 소스 진단 CLI인 nb doctor v2를 실행했습니다. 제가 발견한 결과는 왜 프로덕션(production) 에이전트의 87%가 주당 3회 이상의 중단을 경험하는지, 그리고 왜 런타임(runtime) 실패의 72%가 스스로 복구되지 않는지를 설명해 줍니다. 수치를 보여드리겠습니다.

진단
nb doctor v2는 네 가지 차원에서 에이전트를 평가합니다:

차원	점검 항목
신뢰성 (Reliability)	재시도 폭풍 (Retry storms), 데드 루프 (dead loops), 확인되지 않은 도구 호출 (unchecked tool calls), 누락된 타임아웃 (missing timeouts)
컨텍스트 건강 (Context Health)	무제한 메시지 기록 (Unbounded message history), max_tokens 누락, 컨텍스트 드리프트 (context drift)
연쇄 위험 (Cascade Risk)	서킷 브레이커 (circuit breakers) 없음, 체크포인트 (checkpoints) 없음, 무제한 팬아웃 (unbounded fan-out)
보안 (Security)	프롬프트 인젝션 (Prompt injection), 하드코딩된 키 (hardcoded keys), eval/subprocess, 과도한 권한이 부여된 도구 (overprivileged tools)

각 차원은 0~100점 사이의 점수를 받습니다. 60점 미만은 낙제입니다. 40점 미만은 당신의 에이전트가 사고가 터지기만을 기다리고 있는 상태임을 의미합니다. 약 800줄의 에이전트 코드를 가진 인기 있는 CrewAI 기반 프로젝트를 스캔했을 때 발생한 결과는 다음과 같습니다:

╔══════════════════════════════════════════╗
║ 🏥 NeuralBridge Doctor v2.0 ║
║ Agent Health Diagnosis Report ║
╠══════════════════════════════════════════╣
║ ║
║ Reliability ████████░░ 78% B ║
║ Context Health ██████░░░░ 62% C ║
║ Cascade Risk ████░░░░░░ 41% D ║
║ Security ███████░░░ 71% C+ ║
║ ║
║ Overall Grade: C+ ║
║ Critical Issues: 3 Warnings: 7 ║
╚══════════════════════════════════════════╝

800줄짜리 프로젝트에서 C+가 나왔습니다. 세 개의 심각한 문제(critical issues)와 일곱 개의 경고(warnings)가 있었습니다. nb doctor가 실제로 무엇을 찾아냈는지, 그리고 왜 각각이 프로덕션의 시한폭탄인지 자세히 살펴보겠습니다.

🔴 심각(Critical): 에러 핸들링이 없는 API 호출

agent.py line 47

response = openai.chat.completions.create(model="gpt-4", messages=messages)
try/except가 없습니다.

OpenAI가 다운될 때 — 실제로 2025년에는 34시간 연속으로 다운된 적도 있습니다 — 여러분의 에이전트(Agent)는 충돌합니다. 폴백(Fallback)도 없고, 재시도(Retry)도 없습니다. 그저 새벽 3시에 나타나는 스택 트레이스(Stack trace)와 아무도 보지 않는 알림뿐입니다. nb doctor는 이를 CRITICAL(심각)로 분류했는데, 그 이유는 이것이 에이전트 중단의 제1원인인 '회복 탄력성(Resilience)이 전혀 없는 노출된 API 호출(Naked API calls)'이기 때문입니다.

🔴 Critical: While 루프 내의 재시도 폭풍 (Retry Storm)

pipeline.py line 112

while True :
result = client . run ( agent_config )

... 중단 조건(break condition) 없음, 백오프(Backoff) 없음, 최대 재시도(Max retries) 없음

이것은 곧 발생할 재시도 폭풍(Retry storm)입니다. 에이전트는 무한 루프를 돌며 동일한 요청으로 API를 계속 두드립니다. 저희 산업 보고서에 기록된 실제 사례 중 하나는 다음과 같습니다: 한 지원 에이전트(Support agent)가 22분 동안 CRM 조회를 847번 재시도했습니다. 모든 호출은 200 OK를 반환했습니다. 모니터링 대시보드는 초록색(정상)을 나타냈습니다. 하지만 에이전트는 토큰(Token)만 태우고 아무런 결과물도 만들어내지 못하고 있었습니다.

🔴 Critical: 하드코딩된 API 키 (Hardcoded API Key)

config.py line 8

openai_api_key = " sk-proj-xxxx... "

이것은 설명이 필요 없습니다. 하지만 nb doctor는 여전히 사람들이 이렇게 하고 있기 때문에 이를 찾아냅니다.

🟡 서서히 당신을 죽이는 경고들 (The Warnings That Kill You Slowly)
다음 7가지 경고는 소리 없이 다가오지만, 시간이 지남에 따라 똑같이 치명적입니다:

• 4개의 API 호출에 max_tokens 설정 없음 — 응답이 컨텍스트 윈도우(Context window)를 부풀려 모델이 환각(Hallucination)을 일으키기 시작할 수 있음
• 절단(Truncation) 없는 messages.append() — 장시간 실행되는 세션 동안 컨텍스트가 무제한으로 성장함
• 5단계 에이전트 파이프라인(Pipeline) 내 체크포인트(Checkpoint) 없음 — 어떤 실패든 처음부터 다시 시작해야 함을 의미함
• 서킷 브레이커(Circuit breaker) 없음 — 하나의 단계 실패가 모든 하위 단계로 연쇄적으로 이어짐
• 사용자 입력을 프롬프트(Prompt)에 직접 보간(Interpolated) — 전형적인 프롬프트 인젝션(Prompt injection) 벡터

개별적으로 보면 각 경고는 사소해 보입니다. 하지만 이들이 모이면 왜 여러분의 에이전트가 테스트 중에는 잘 작동하다가 프로덕션(Production) 환경에서 6시간 만에 무너지는지를 설명해 줍니다.

이것은 단 하나의 프로젝트만의 문제가 아닙니다. 저는 두 개의 에이전트를 더 스캔했습니다 — 하나는 LangGraph 연구용 에이전트이고, 다른 하나는 커스텀 ReAct 구현체입니다. 패턴은 동일했습니다:

에이전트	라인 수 (Lines)	신뢰성 (Reliability)	컨텍스트 (Context)	연쇄 효과 (Cascade)	보안 (Security)	종합 (Overall)
CrewAI 기반	812	78%	62%	41%	71%	C+
LangGraph 연구용	1,204	71%	58%	35%	65%	C
커스텀 ReAct	543	82%	70%	48%	59%	C

그들 중 그 누구도 연쇄 위험(Cascade risk) 항목에서 B 등급을 받지 못했습니다.

그들 모두 최소 2개의 치명적인 문제(Critical issues)를 가지고 있었습니다. 평균 종합 등급은 C였습니다. 이들은 나쁜 개발자들이 아닙니다. 그들은 일반적인 도구(Tooling)를 사용하여 에이전트(Agent)를 구축하는 일반적인 개발자들입니다. 하지만 그 도구들은 자율적이고, 장시간 실행되며, 다단계 실행(Multi-step execution)을 수행하도록 설계된 적이 없습니다.

업계 데이터가 이를 뒷받침합니다. 이 스캔 결과는 특이 케이스가 아닙니다. 이는 업계 전반에서 일어나고 있는 현상과 일치합니다:

• 프로덕션 에이전트(Production agents)의 87%가 주당 3회 이상의 중단(Disruptions)을 경험합니다 (NeuralBridge Research, 2026)
• 런타임 실패(Runtime failures)의 72%는 자가 치유(Self-healing) 메커니즘이 없어, 그냥 충돌(Crash)합니다.
• 2025년 OpenAI의 34시간 중단 사태 당시, 모든 하드코딩된 gpt-4 호출이 무용지물이 되었습니다.
• CISPA의 2025년 연구에 따르면, API 릴레이 엔드포인트(API relay endpoints)의 45.83%가 사용자가 요청한 모델을 더 저렴한 모델로 조용히 교체합니다. 즉, 귀하의 "gpt-4" 호출이 완전히 다른 무언가 위에서 실행되고 있을 수도 있습니다.
• 에이전트 사고(Agent incidents) 중 자동화된 시스템에 의해 감지되는 것은 단 13%뿐이며, 나머지 87%는 인간이나 발생한 피해 자체에 의해 발견됩니다.

격차는 AI 역량에 있는 것이 아닙니다. 운영 탄력성(Operational resilience)에 있습니다.

해결 방법

1단계: 진단하기 (무료, 30초 소요)
pip install neuralbridge-sdk
nb doctor /path/to/your/agent
이 명령은 전체 코드베이스를 스캔하여 레이더 차트(Radar chart)를 제공합니다. 모든 노출된 API 호출, 모든 경계가 없는 메시지 목록, 모든 누락된 서킷 브레이커(Circuit breaker)를 보여줍니다. 설정 불필요(Zero config). 의존성 없음(Zero dependencies). 귀하의 에이전트가 정확히 어디에서 취약한지 알 수 있습니다.

2단계: 치명적인 문제 수정하기
nb doctor가 찾아낸 내용을 바탕으로, 가장 일반적인 수정 사항은 다음과 같습니다:

• 모든 API 호출을 타임아웃(Timeout)이 포함된 에러 핸들링(Error handling)으로 감싸기
• 컨텍스트 팽창(Context bloat)을 방지하기 위해 max_tokens 추가하기
• 메시지 기록 절단(Truncate) — messages = messages[-MAX_HISTORY:]
• 모든 while 루프에 최대 반복 횟수(Max iteration counter) 추가하기
• API 키를 절대 하드코딩하지 말 것 — os.environ 사용하기

3단계: 자가 치유(Self-Healing) 기능 추가하기
수동 수정은 당장 효과가 있습니다.

하지만 새벽 3시에 OpenAI가 다운된다면, 자동 복구(automated recovery)가 필요합니다:

from neuralbridge import register, heal

# 폴백(fallback) 모델 등록
register("gpt-4", strategy="fallback", alternatives=["gpt-4o-mini", "claude-3.5-sonnet"])

# LLM 호출을 래핑(wrap) — 자동 재시도(auto-retry), 자동 폴백(auto-fallback), 자동 치유(auto-heal)
response = heal(lambda: openai.chat.completions.create(
    model="gpt-4",
    messages=messages,
    max_tokens=2048
))

기본 모델이 실패하면 NeuralBridge가 자동으로 폴백(fallback)합니다. 컨텍스트(context)가 비대해지면 분류(triage)합니다. 연쇄 장애(cascade)가 시작되면 회로 차단(circuit-break)합니다. 95.19%의 자가 치유(self-heal)율. 0.0025ms의 오버헤드(overhead).

결론

당신의 에이전트(agent)는 생각만큼 신뢰할 수 없습니다. 데모는 새벽 3시의 재시도(retry), 6시간 후의 컨텍스트 오버플로(context overflow), 또는 하루 반 동안 지속되는 모델 중단(outage)을 테스트하지 않습니다.

진단(diagnostic)을 실행하세요. 수치를 확인하세요. 그러고 나서 계속 행운을 빌며 손가락을 꼬고 있을지, 아니면 실제로 문제를 해결할지 결정하십시오.

pip install neuralbridge-sdk
nb doctor

당신의 에이전트 성적표가 기다리고 있습니다. C+보다는 낫기를 바랍니다.

이 글은 우리의 Agent Runtime Operations 시리즈 중 9번째 기사입니다. Anthropic의 가격 인상이 어떻게 에이전트 예산을 갉아먹고 있는지에 대한 7번 기사와, 왜 우리가 새로운 운영 카테고리를 정의하고 있는지에 대한 8번 기사를 읽어보세요.