HTTP 200은 제품의 품질을 보장하지 않습니다

프로덕션 환경의 AI 에이전트 (AI Agents in Production) - 시리즈 2, 6개 중 5번째 기사

지난주 한 AI 에이전트가 47번 실행되었습니다.

모든 실행은 HTTP 200을 반환했습니다. 모든 실행의 지연 시간 (latency)은 2초 미만이었습니다. 예외도 없었습니다. 로그에 오류도 없었습니다.

그리고 모든 실행은 결과물을 전혀 만들어내지 못했습니다.

output_tokens: 0. 47번 연속으로 말입니다.

인프라(infrastructure)는 성공을 확인했습니다. 하지만 제품은 아무것도 얻지 못했습니다. 그리고 어떤 알림 (alert)도 울리지 않았습니다.

아무도 모니터링하지 않는 실패 유형

대부분의 팀은 API가 말하는 것을 모니터링합니다. HTTP 200은 요청이 수락되었고, 처리되었으며, 깔끔하게 반환되었음을 의미합니다. 그것은 사실입니다. 인프라는 완벽하게 작동했습니다.

하지만 HTTP 200은 전송 계층 (transport layer)에 대해서만 알려줄 뿐입니다. 당신의 에이전트가 무엇을 생성하기로 되어 있었는지에 대해서는 아무것도 말해주지 않습니다.

이것은 **침묵하는 실패 (silent failure)**라고 불리는 실패 유형입니다. 즉, 비즈니스 가치는 0으로 수렴하고 있는데 시스템은 성공을 보고하는 상태입니다.

이것은 가장 위험한 실패 유형입니다. 모니터링 대시보드는 초록색(정상)을 나타내고, 온콜 (on-call) 담당자에게는 페이지가 전송되지 않으며, 클라이언트는 며칠 또는 몇 주 동안 상황을 전혀 알지 못하기 때문입니다.

성공처럼 보이는 세 가지 실패 형태

형태 1 - 빈 응답자 (The Empty Responder)

에이전트가 LLM을 호출하지만, 빈 완료 (completion)를 받습니다. choices[0].message.content가 비어 있습니다. HTTP 200이 반환됩니다. output_tokens: 0. 당신의 파이프라인 (pipeline)은 모든 것이 정상인 것처럼 계속 진행됩니다.

형태 2 - 멈춰버린 안전 필터 (The Stuck Safety Filter)

모델이 내부적인 안전 분류 (safety classification)를 트리거하여, 거절 메시지를 보내는 대신 빈 응답을 반환합니다. 오류는 없습니다. 그저 침묵뿐입니다.

형태 3 - 토큰 낭비 (The Token Drain)

프롬프트 토큰 (prompt tokens)은 증가하지만, 출력 토큰 (output tokens)은 0에 머물러 있습니다. 모든 프롬프트에 대해 비용을 지불하고 있지만, 아무것도 생성되지 않고 있습니다. 세 가지 경우 모두 HTTP 200을 반환합니다.

실제로 모니터링해야 하는 것

`python
from opsveritas import AgentTracer

tracer = AgentTracer(api_key="your-key")

with tracer.trace("content-generator") as span:
response = client.chat.completions.create(
model="gpt-4o",
messages=messages
)

content = response.choices[0].message.content
output_tokens = response.usage.completion_tokens

...

성공(Success)은 http_status == 200이 아닙니다. 성공은 output_tokens > 0이고 출력 내용에 의미 있는 콘텐츠가 포함되어 있을 때입니다.

import { AgentTracer } from "@opsveritas/sdk";

const tracer = new AgentTracer({ apiKey: "your-key" });

const span = tracer.start("content-generator");  
try {
const response = await openai.chat.completions.create({ ... });  
const outputTokens = response.usage.completion_tokens;

span.finish({
outputTokens,
outputSummary: response.choices[0].message.content || "[EMPTY]", 
success: outputTokens > 0  
});  
} catch (err) {
span.error(err);
}

발생했어야 할 경고(The Alert That Should Have Fired)

"alert_type": "silent_failure",
"workflow_name": "content-generator",
"message": "output_tokens = 0 on 47 consecutive runs. HTTP 200 returned each time.",
"diagnosis": "Likely: safety filter on prompt, empty completion, or context window exhaustion.",
"consecutive_empty_runs": 47,
"cost_usd_burned": 0.22   }

진단(diagnosis) 필드를 주목하세요. 이는 단순한 원시 측정 지표가 아니라 AI가 생성한 근본 원인 분석입니다.

이것이 바꾸는 것(What This Changes)

output_tokens와 HTTP 상태 코드를 함께 모니터링하면, 사일런트 실패(silent failures)를 47번째 실행이 아닌 첫 번째 실행에서 포착할 수 있습니다. 아무것도 생성하지 않는 토큰 소비에 대한 비용 지불을 중단할 수 있습니다. 클라이언트가 알아차리기 전에 고객에게 노출되는 오류들을 해결합니다.

HTTP 200은 전송(transport) 보장일 뿐입니다. 모니터링을 제품 계층(product layer)에서 구축하세요.

무료 체험: https://agents.opsveritas.com

또한 이러한 엔드투엔드 솔루션도 제공합니다: https://opsveritas.com

프로덕션 환경에서 에이전트를 운영하고 계시다면, 15분 데모를 위해 DM을 보내주세요.