전통적인 분산 트레이싱 (Distributed Tracing)은 소프트웨어가 실패하는 방식에 대한 가정을 바탕으로 구축되었습니다. /api/orders로 보내는 POST 요청은 항상 동일한 순서로 동일한 세 개의 서비스에 도달합니다. 여러분은 스키마를 미리 정의하고, 편차에 대한 알림을 설정하며, 트레이스 (Trace)는 무슨 일이 일어났는지 알려줍니다.

LLM 에이전트 (Agents)는 이러한 모든 가정을 위반합니다. 실행 경로가 매 실행마다 달라집니다. "서비스" (에이전트)는 추론 (Reasoning)에 따라 동적으로 경로를 결정합니다. 출력은 비결정론적 (Non-deterministic)입니다. 그리고 "내 인프라가 건강하다"와 "내 에이전트가 올바른 일을 했다" 사이의 간극이 대부분의 디버깅 고통이 발생하는 지점입니다.

MLflow는 그 패턴을 기록했습니다: 몇 분 만에 디버깅을 마치는 팀과 며칠 동안 디버깅하는 팀의 차이 말입니다. 그 차이는 기술력이 아닙니다. 그들이 에이전트를 프로그램으로 취급하느냐, 아니면 분산 시스템 (Distributed Systems)으로 취급하느냐의 차이입니다.

분산 트레이싱의 간극 (The Distributed Tracing Gap)

OpenTelemetry 스팬 (Spans)은 전통적인 서비스에는 효과적입니다. 요청이 들어오고, 예측 가능한 경로를 거쳐, 반환됩니다. 스팬 트리 (Span tree)는 경계가 정해져 있고 읽기 쉽습니다. 하나의 트레이스가 무슨 일이 일어났는지 알려줍니다.

멀티 에이전트 시스템 (Multi-agent systems)은 이 모델을 깨뜨립니다:

# 전통적인 서비스 트레이싱 (작동함):
# 요청 → 서비스 A → 서비스 B → 서비스 C → 응답
# 스팬 트리: 4개 노드, 예측 가능, 경계가 정해짐
...

Red Hat은 다음과 같이 확인했습니다: "이러한 복잡성은 명확한 가시성 없이는 프로덕션 환경에서의 디버깅을 어렵게 만듭니다. 멀티 에이전트 AI 시스템은 복잡한 상호작용을 포함하며 분산 트레이싱을 통한 엔드 투 엔드 (End-to-end) 가시성을 요구합니다."

하지만 그들이 설명하는 트레이싱은 인프라 이벤트 (Infrastructure events)를 포착합니다. 에이전트 간의 통신 이벤트 (Communication events)를 포착하는 것이 아닙니다.

누락된 계층: 메시지 레벨 트레이싱 (Message-Level Tracing)

에이전트 A가 에이전트 B에게 작업을 보낼 때, 인프라 트레이싱이 포착할 수 없는 다섯 가지 문제가 발생할 수 있습니다:

1. 메시지가 전송되지 않음 (에이전트 A의 추론 결과 전송하지 않기로 결정함)
2. 메시지는 전송되었으나 에이전트 B의 컨텍스트 (Context)가 가득 참 (조용히 누락됨)
3. 메시지는 수신되었으나 에이전트 B가 의도를 오해함
4. 메시지는 처리되었으나 에이전트 B의 출력이 오래된 상태 (Stale state)를 기반으로 함
5. 메시지 응답은 정확했으나 에이전트 A가 이를 무시함 (이미 다음 단계로 넘어감)

인프라 트레이스(Infrastructure trace)에서 보이는 내용:

trace = {
"agent_a": {"status": "200 OK", "latency_ms": 340},
...

팀이 며칠 동안 디버깅하는 이유

futureagi 연구는 메시지 수준의 트레이싱 (message-level tracing) 없이는 디버깅에 며칠이 걸리는 세 가지 실제 실패 사례를 기록하고 있습니다:

1. 조용한 품질 저하 (Silent quality degradation): 모든 스팬 (span)은 녹색(정상)이지만, 출력값은 틀림
2. 추론 루프 (Reasoning loops): 에이전트가 자기 자신을 47번 호출함 (인프라 트레이스에서는 보이지 않음)
3. 컨텍스트 오염 (Context contamination): 에이전트 C가 에이전트 B를 위해 의도된 에이전트 A의 출력을 사용함

이 세 가지 모두 통신 실패입니다. 인프라는 건강합니다. 에이전트 간의 메시지가 깨져 있는 것입니다.

# 디버깅 시간 방정식:

# 메시지 수준의 트레이싱 (message-level tracing)이 없는 경우:
...

결론

여러분의 에이전트는 분산 시스템 (distributed systems)입니다. 하지만 여러분의 디버깅 도구는 에이전트를 단순한 프로그램으로 취급합니다. "인프라는 정상"이라는 상태와 "에이전트가 정확함" 사이의 간극이 바로 여러분의 팀이 며칠을 허비하는 지점입니다.

rosud-call은 에이전트 통신에 메시지 수준의 트레이싱 (message-level tracing)을 추가합니다. 단순히 "메시지가 전달됨"을 넘어 "메시지가 이해되었고, 최신 컨텍스트 (fresh context)로 처리되었으며, 양질의 출력을 생성함"을 확인합니다. 며칠이 아닌 몇 분 만에 디버깅하세요. 통신이 정확히 어디서 끊겼는지 확인하십시오.

에이전트가 오답을 내놓는 동안 녹색 대시보드만 멍하니 바라보는 일을 멈추세요.

에이전트를 몇 분 만에 디버깅하세요: rosud.com/docs