당신의 에이전트 루프가 1,000달러를 낭비했습니다: OpenTelemetry GenAI Conventions를 사용한 Spring AI 계측

2026년에 엄격한 관측성 (Observability) 없이 멀티 에이전트 시스템 (Multi-agent systems)을 배포하는 것은 CTO에게 다섯 자리 숫자의 클라우드 청구서를 설명해야 하는 지름길입니다. 표준화된 텔레메트리 (Telemetry)를 사용하여 개별 에이전트 단계별로 토큰 소비량을 추적하지 않는다면, 당신은 운영 환경에서 눈을 감고 비행하는 것과 같습니다.

대부분의 개발자가 실수하는 이유

• 커스텀 JSON 로그 파싱 편법에 의존: 개발자들은 토큰 수를 추출하기 위해 커스텀 로그 파서를 작성하는 데 몇 주를 허비하지만, 이는 모델 제공업체가 페이로드 스키마 (Payload schemas)를 업데이트할 때 필연적으로 깨지게 됩니다.
• 에이전트 루프를 일반적인 HTTP 의존성으로 취급: 표준 HTTP 스팬 (Span) 메트릭은 호출이 발생했다는 사실만 알려줄 뿐, 무한 루프로 치닫는 중요한 재귀적 도구 호출 (Tool-calling) 체인을 숨깁니다.
• OTel 표준 무시: 표준화된 OpenTelemetry GenAI Semantic Conventions를 채택하는 대신 독자적인 메트릭 스키마를 구축하는 것은 엄청난 벤더 종속 (Vendor lock-in)을 초래합니다.

올바른 방법

Spring AI의 네이티브 Micrometer Observation API를 OpenTelemetry의 GenAI semantic conventions에 직접 바인딩하여 토큰 수준의 메트릭을 자동으로 캡처함으로써 관측성 스택을 표준화하십시오.

• 표준화된 속성 (Attributes) 사용: 모델 실행을 gen_ai.request.model, gen_ai.usage.prompt_tokens, gen_ai.usage.completion_tokens와 같은 표준 OTel 속성에 매핑합니다.
• Trace Context와 스팬 상관관계 설정: 벡터 데이터베이스 (Vector database) 쿼리, 도구 실행, LLM 호출을 통해 W3C trace 헤더를 전파하여 전체 에이전트 라이프사이클을 하나의 트레이스 (Trace)에서 시각화하십시오.
• 런타임 예산 제한 강제: Observation 라이프사이클을 가로채서 에이전트의 누적 토큰 비용이 사전 정의된 임계값을 초과할 때 트레이스 컨텍스트 (Trace contexts)를 동적으로 종료하십시오.

코드 보기

네이티브 관측 지원 및 커스텀 토큰 추적 어드바이저 (Advisors)를 사용하여 Spring AI의 ChatClient를 구성하십시오:

@Configuration
public class ObservabilityConfig {

...

핵심 요약

• 바퀴를 다시 발명하지 마세요 (Stop reinventing the wheel): Spring AI와 Micrometer의 통합을 통해 OpenTelemetry의 표준 gen_ai.* 시맨틱 속성 (semantic attributes)으로 직접 매핑되도록 하세요.
• 토큰 소모율(token burn rates)에 대한 알림 설정: gen_ai.client.token.usage 메트릭의 비율에 대해 실시간 알림을 설정하여, 예산을 고갈시키기 전에 폭주하는 에이전트 루프 (agent loops)를 포착하세요.
• 전체 체인 추적 (Trace the entire chain): 벡터 스토어 (vector stores, 예: PgVector) 및 커스텀 도구 (custom tools)에 계측 (instrumentation)을 적용하여, 높은 지연 시간 (latency)이 모델에서 발생하는지 아니면 검색 (retrieval) 단계에서 발생하는지 정확히 파악할 수 있도록 하세요.

주의 사항: 이러한 패턴이 실제 인터뷰 문제에 어떻게 적용되는지 확인하고 싶다면, javalld.com에서 트레이스 (traces)가 포함된 전체 머신 코딩 (machine coding) 솔루션을 확인하실 수 있습니다.