14개의 에이전트로 구성된 AI 시스템에서 발견한 54가지 신뢰성 문제 — 무엇이 고장 났는가

AI 에이전트(AI agents)를 위한 모든 테스트 도구는 개별 에이전트를 테스트합니다. 하지만 프로덕션(production)에서의 실패는 에이전트 내부가 아니라, 에이전트 **사이(between)**에서 발생합니다.

저는 이 사실을 뼈아픈 경험을 통해 배웠습니다.

아무도 해결하지 않는 문제

저는 CrewAI를 사용하여 14개의 에이전트로 구성된 문서 처리 시스템을 구축했습니다. 각 에이전트는 독립적으로는 완벽하게 작동했습니다. 하지만 프로덕션 환경에서는 시스템이 끊임없이 실패했고, 저는 그 이유를 알 수 없었습니다.

문제는 단일 에이전트가 아니었습니다. 바로 **상호작용(interactions)**이 문제였습니다:

• 하나의 에이전트가 조용히 실패하자 나머지 12개의 에이전트가 함께 무너짐
• 에이전트들이 넘지 말아야 할 경계를 넘어 민감한 데이터를 공유함
• 세 개의 에이전트가 오케스트레이터(orchestrator)를 우회하는 통신 파벌(clique)을 형성함
• 모든 에이전트가 폴백(fallback) 장치 없이 하나의 중앙 오케스트레이터에만 의존함

기존의 어떤 도구도 이러한 문제를 찾아낼 수 없었습니다. Arize, Langfuse, Braintrust — 이들은 모두 개별 에이전트를 모니터링합니다. 에이전트 상호작용의 **그래프(graph)**를 테스트하는 도구는 아무도 없었습니다.

그래서 저는 직접 만들었습니다.

제가 만든 것: swarm-test

swarm-test는 멀티 에이전트 시스템(multi-agent system)의 NetworkX 상호작용 그래프를 구축하고, 이에 대해 6가지 카오스 엔지니어링(chaos engineering) 테스트를 실행합니다:

1. 연쇄 실패 (Cascade Failure) — 특정 에이전트가 실패했을 때 전체 시스템을 무너뜨리는 에이전트는 누구인가
2. 컨텍스트 유출 (Context Leakage) — 민감한 데이터(API 키, 개인정보(PII), 자격 증명)가 에이전트 경계를 넘어가는 현상
3. 의도 이탈 (Intent Drift) — 에이전트가 자신의 역할을 벗어나 행동하거나 조작되는 현상
4. 공모 탐지 (Collusion Detection) — 에이전트들이 오케스트레이터의 감독 없이 통신하는 현상
5. 폭발 반경 (Blast Radius) — 단일 장애점(SPOF) 및 임계 의존 경로
6. 타임아웃 탄력성 (Timeout Resilience) — 상위 단계(upstream)가 느려질 경우 폴백(fallback)이 없는 에이전트

3줄 API:

from swarm_test import SwarmProbe

probe = SwarmProbe(crew)
...

실제 시스템에서 발견한 결과

제 14개 에이전트 시스템에 swarm-test를 실행했습니다. 결과는 처참했습니다:

총 54개의 발견 사항:

• 15 CRITICAL (14개의 연쇄 실패 + 1개의 단일 장애점(SPOF))
• 13 HIGH (9개의 타임아웃 취약점 + 4개의 공모 파벌)
• 26 MEDIUM (13개의 의도 이탈 + 13개의 타임아웃 처리 누락)

가장 최악의 에이전트: OrchestratorAgent는 100점 만점에 4점을 기록했습니다. 이 에이전트는 92%의 폭발 반경 (blast radius)을 가진 단일 장애점 (single point of failure)입니다. 즉, 이 에이전트가 실패하면 14개 중 12개의 에이전트가 함께 작동을 멈춥니다. 또한 타임아웃 처리 (timeout handling) 기능이 전혀 없었습니다.

가장 무서운 발견: EvolutionAgent는 100%의 폭발 반경 (blast radius)을 가집니다. 이 에이전트가 실패하면 시스템 내의 다른 모든 에이전트가 영향을 받습니다.

세 개의 에이전트 (OrchestratorAgent, FileOptimizerAgent, PrintOptimizerAgent)는 **공모 파벌 (collusion clique)**을 형성했습니다. 이들은 서로 직접 통신하며 오케스트레이터 (orchestrator)의 감독을 우회했습니다.

이 중 그 어떤 것도 개별 에이전트를 테스트할 때는 나타나지 않았습니다. 오직 **상호작용 그래프 (interaction graph)**를 테스트했을 때만 나타났습니다.

7일 동안 7개의 기능을 출시했습니다

출시 후, 저는 매일 하나의 기능을 출시했습니다:

일차	기능	영향
0	출시 — 5개의 카오스 테스트, GitHub + PyPI	PyPI 최초의 멀티 에이전트 (multi-agent) 테스트 도구
...

94개의 테스트를 통과했습니다. 두 개의 프레임워크를 지원하며, 계속 확장 중입니다.

첫 번째 통합

출시 후 48시간 이내에

from swarm_test import SwarmProbe

# CrewAI와 호환됨
...

GitHub: github.com/surajkumar811/swarm-test

오픈 소스 (Open source). MIT 라이선스 (MIT licensed). 공개적으로 개발 중인 (building in public) 1인 창업자.

여러분의 멀티 에이전트 시스템 (multi-agent systems)에는 어떤 신뢰성 테스트 (reliability tests)가 필요하신가요? 댓글을 남겨주세요 — 실제 피드백을 바탕으로 기능을 출시하고 있습니다.