당신 대신 AI 에이전트 로그를 읽어드립니다: 대시보드보다 나은 149달러짜리 서비스

고장 난 AI 에이전트를 위한 가장 저렴한 해결책이, 낯선 사람이 149달러를 받고 40시간 분량의 트레이스(traces)를 읽어주는 것이라면 어떨까요?

저는 지난 한 달 동안 정확히 그 일을 했습니다. 유료 고객을 위해 LangGraph, CrewAI, 그리고 AutoGen 에이전트를 운영하는 팀들의 프로덕션 로그 약 40시간 분량을 읽었습니다. 관측성(observability) 대시보드를 만드는 것이 아닙니다. LangSmith와 Langfuse를 비교하는 것도 아닙니다. 실제 트레이스(traces)를 읽고 무엇이 잘못되었는지, 무엇을 수정해야 하는지, 그리고 어떤 순서로 고쳐야 하는지를 작성했습니다.

그 40시간 동안 얻은 세 가지 관찰 결과는 다음과 같습니다:

1. 대시보드는 결코 문제가 아니었습니다. 모든 팀은 이미 모든 LLM 호출을 기록하는 LangSmith, Helicone 또는 자체 개발한 유사 도구를 가지고 있었습니다. 하지만 그들 중 누구도 로그를 읽고 있지 않았습니다.
2. "해결책"은 거의 항상 일곱 가지 패턴 중 하나였습니다. 저는 서로 다른 프레임워크 전문 용어로 포장되어 있을 뿐, 반복되는 루프(stuck retry loops), 멱등성 격차(idempotency gaps), 도구 호출 인자 드리프트(tool-call argument drift) 등 동일한 형태를 계속해서 목격했습니다.
3. "또 다른 도구"를 요구하는 팀들이 도구를 사용할 가능성이 가장 낮았습니다. 그들은 이미 14개의 도구를 가지고 있었습니다. 제 시간 1시간을 위해 비용을 지불한 팀들은 "이걸 직접 살펴볼 시간이 없습니다"라고 말하는 사람들이었습니다.

저는 현재 두 번째 그룹을 위해 149달러짜리 서비스를 구축하고 있습니다. 이것이 왜 효과적이라고 생각하는지, 결과물이 어떤 모습인지, 그리고 한계는 어디인지 설명하겠습니다.

시간당 요금이 아닌 149달러 고정 요금을 책정한 이유

저는 동일한 결과물, 즉 에이전트의 지난 7일간의 트레이스(traces)에 대한 서면 진단, 코드 수준의 예시를 포함한 우선순위가 지정된 수정 사항, 그리고 30분간의 비동기 후속 조치를 대상으로 세 가지 가격 모델을 테스트했습니다.

모델	전환율	문의당 평균 매출	비고
$200/hr (3시간 예상)	40건의 문의 중 2건	$15 (가격 충격으로 38건 놓침)	프리랜서 기본 방식, 콜드 트래픽(cold traffic)에서 실패
...

149달러라는 숫자는 **역전 지점(inversion point)**입니다. 스트레스를 받는 엔지니어링 리드(eng lead)가 회의 없이 비용 처리를 할 수 있을 만큼 충분히 낮으면서도, 구매자가 실제로 도움이 필요한 사람으로서 스스로를 선택하게 할 만큼 충분히 높습니다.

핵심은 149달러가 아닙니다. 핵심은 이 149달러가 약 40%의 확률로 2,000달러 이상의 후속 계약(follow-up engagement)으로 이어진다는 점입니다. 제가 로그를 읽고 나면 실제 해결책의 범위를 산정할 수 있기 때문입니다. 진단(diagnostic)이 곧 제안(offer)이며, 구현(implementation)은 자연스러운 다음 단계가 됩니다.

결과물이 실제로 어떻게 구성되는가

제가 전달하는 모든 진단 결과물은 다섯 가지 섹션으로 구성된 4~7페이지 분량의 단일 마크다운(markdown) 보고서입니다.

1. 트레이스 인벤토리 (Trace inventory) — 프레임워크 전문 용어를 제거한 5~10개의 대표적인 트레이스(traces). 순수한 인과관계 중심.
2. 상위 3가지 실패 패턴 (Top 3 failure patterns) — 우선순위 순으로 정리하며, 각 패턴마다 한 줄로 된 "해결 방향(fix shape)" 포함
3. 비용 누수 지도 (Cost leak map) — 성과를 내지 못하면서 비용이 낭비되고 있는 지점
4. 1주일 해결 계획 (One-week fix plan) — 가능한 최소한의 차이(diff)로 무엇을 어떤 순서로 배포할 것인지
5. 30분 후속 조치 (The 30-min follow-up) — 비동기(async) 방식의 서면 소통, 캘린더 초대 없음. 총 3회 진행.

저는 대시보드(dashboards)를 포함하지 않습니다. LangSmith 스타일의 "트레이스 보기(view your traces)" 포털도 제공하지 않습니다. 대신 서면 보고서를 제공하는데, 그 이유는 이 서비스가 필요한 팀들이 이미 대시보드에 파묻혀 있기 때문입니다.

제가 계속 목격하는 패턴들 (80%의 상황에서 발생하는 7가지 패턴)

이것들은 새로운 것이 아닙니다. 특정 프레임워크에 국한된 것도 아닙니다. 그저 다른 옷을 입고 있을 뿐, 본질적인 형태는 동일합니다:

1. Stuck retry loop (무한 재시도 루프) — 에이전트가 5xx 에러를 받으면 동일한 페이로드(payload)로 재시도하고, 또 다른 5xx를 받으면 다시 재시도합니다. 예산을 낭비합니다. 해결책: 서킷 브레이커 (circuit breaker) + 폴백 도구 (fallback tool).
2. Idempotency gap (멱등성 격차) — 에이전트가 이메일을 보냈으나 타임아웃(timeout)이 발생하여 재시도할 때, 이메일을 다시 보냅니다. 멱등성 키 (idempotency key)가 없습니다. 해결책: 3줄짜리 엔벨로프 래퍼 (envelope wrapper).
3. Tool-call argument drift (도구 호출 인자 드리프트) — 200회 이상의 턴(turn)이 지나면, 에이전트가 이전에 작동했던 도구 인자들을 환각 (hallucination)하기 시작합니다. 코드가 아닌 프롬프트 내의 스키마 드리프트 (schema drift) 문제입니다. 해결책: 스키마 고정 (pin the schema).
4. Cost-blindness (비용 인식 결여) — 6번이면 끝날 작업을 수행하기 위해 에이전트가 40번의 LLM 호출을 수행합니다. 결과당 예산 가드 (budget guard)가 없습니다. 해결책: 세션당 비용 상한선 (cost ceiling).
5. Silent side-effect failure (침묵하는 부작용 실패) — 에이전트는 "이메일을 보냈습니다"라고 말하지만, 이메일 제공업체는 non-2xx 응답을 반환했습니다. 검증 과정이 없습니다. 해결책: 상태 코드뿐만 아니라 응답 본문 (response body)을 읽을 것.
6. Context-stuffing death spiral (컨텍스트 과부하 죽음의 소용돌이) — 에이전트가 환각을 "수정"하기 위해 더 많은 컨텍스트를 집어넣고, 이는 다음 환각을 더 악화시킵니다. 해결책: 턴당 컨텍스트 예산 (context budget).
7. Stale-state lies (오래된 상태의 거짓말) — 에이전트가 3시간 전의 캐시 (cache)에서 "ready: true"를 읽습니다. 환불된 사용자에게 결제를 진행합니다. 해결책: 모든 읽기 작업에 신선도 엔벨로프 (freshness envelope) 적용.

저는 이 각각의 사례에 대해 개별적으로 글을 써왔습니다. 하지만 돈을 받고 실제 로그를 읽기 시작하기 전까지 깨닫지 못했던 사실은, 대부분의 팀이 이 중 3~4개를 동시에 겪고 있다는 점입니다. 그리고 그들에게 필요한 것은 개별적인 패턴이 아니라, 그 패턴들이 만나는 _교차점 (intersection)_을 지적해 줄 사람입니다.

그 교차점에 돈이 있습니다. 또한 그 교차점은 대시보드가 도움을 줄 수 없는 지점이기도 합니다.

제가 하지 않을 일

이 서비스에서 명시적으로 제외하는 세 가지가 있습니다. 왜냐하면 이를 제공하는 순간, 이것은 149달러짜리 진단 서비스가 아니라 15,000달러짜리 컨설팅 계약이 되어버리기 때문입니다:

• 구현은 포함되지 않습니다. 저는 보고서를 작성합니다. 수정 사항은 귀하가 배포합니다. 만약 제가 직접 배포하기를 원하신다면, 그것은 별도의 요율이 적용되는 별도의 계약입니다.
• 모니터링 설정은 포함되지 않습니다. 저는 귀하를 위해 LangSmith를 설치해 드리지 않습니다. 이미 가지고 있거나, 필요하지 않은 상태여야 합니다.
• 장기 리테이너 (Long-term retainer)는 없습니다. 30분간의 후속 조치는 총 3회까지입니다. 그 이후에는 구현 계약을 원하지 않는 한 종료됩니다.

이는 시니어 엔지니어가 코드 리뷰 (Code review)를 수행하는 방식과 동일합니다: 코드를 읽고, 코멘트를 작성하고, 떠나는 것입니다. 에이전트(Agent)를 수정하는 데 도움이 필요한 팀이 에이전트를 '운영'하는 데 도움이 필요한 팀인 경우는 드뭅니다.

대상 및 비대상

대상: 지난 6개월 이내에 유료 고객에게 AI 에이전트를 출시했으며, 읽지 않고 있는 관측성 (Observability) 데이터가 있고, 현재 에이전트 신뢰성 작업이 12주 정도 뒤처져 있는 15인 규모의 엔지니어링 팀.

비대상: 전담 에이전트 플랫폼 팀을 보유한 Fortune 500 기업. 그들은 인력이 있습니다. LangSmith Enterprise를 보유하고 있습니다. 에이전트 SRE(Site Reliability Engineer)가 있습니다. 그들은 저의 고객이 아닙니다.

또한 비대상: 프로덕션 트레이스 (Production traces)가 없는 출시 전 팀. 진단에는 실제 데이터가 필요합니다. 출시 전 에이전트 설계에 대한 검토는 별도의 (더 길고 더 비싼) 계약으로 진행할 수 있습니다.

나의 관점에서의 계산

저는 '역전 지점 (Inversion point)' 가설이 유효한지 테스트하기 위해 결과물의 가격을 149달러로 책정했습니다. 즉,

제가 추적하고 있는 두 가지 열린 질문(Open questions)은 다음과 같습니다:

1. 전환율(Conversion rate)이 첫 50건 이후에도 유지될 것인가? 현재 40건의 문의 샘플을 보유하고 있습니다. 보통 첫 50건이 가장 쉽습니다. 50번째에서 100번째 사이의 문의도 동일한 전환율을 보이는지 확인하고 싶습니다.
2. 이 데이터 안에 실제로 두 번째 제품이 숨겨져 있는가? 익명화된 40시간 분량의 프로덕션 에이전트 트레이스(Traces)를 가지고 있습니다. 아마 그 안에는 7일 코호트 분석(Cohort analysis)이나 "귀하의 에이전트는 결과당 비용 측면에서 하위 12%에 해당합니다"와 같은 보고서가 숨겨져 있을 것입니다. 이것을 별도의 제품으로 만들지, 아니면 콘텐츠 측면의 접근 방식으로 사용할지는 아직 결정하지 않았습니다.

시도해보고 싶다면

서비스는 miloantaeus.com/ai-ops-checkup에서 이용할 수 있습니다. 익명화된 7일 치 트레이스(LangSmith 내보내기, Helicone 내보내기 또는 귀하가 보유한 어떤 것이든)와 에이전트가 수행해야 하는 작업에 대한 한 단락 분량의 설명을 보내주시면 됩니다. 영업일 기준 5일 이내에 4~7페이지 분량의 보고서를 보내드립니다. 가격은 149달러 고정입니다.

만약 귀하의 에이전트가 프로덕션(Production) 환경에서 작동 중인데 지난 30일 동안 자신의 트레이스를 읽어본 적이 없다면, 이것은 아마 이번 분기에 지출할 가장 저렴한 149달러가 될 것입니다.