사일런트 실패가 비용으로 이어지는 방식과 이를 방지하는 방법

그 수치들은 제가 만든 것이 아닙니다. 이 커뮤니티의 컨설턴트가 정리한 것입니다. 그분은 또한 가장 아픈 부분을 지적했습니다. 바로 진단 시간은 청구할 수 없다는 점입니다. 당신이 비용으로 부담해야 합니다.

이번 달에만 세 개의 스레드를 봤는데, 모양이 비슷합니다:

사람들이 살펴보기 3일 전에 연속적으로 발생한 28번의 실패. 6주 동안 모든 리드(lead)를 0점으로 평가하는 워크플로우. 양쪽 조회(lookup) 모두 403 에러가 반환되었음에도 불구하고 고객에게 "청구된 것을 확인할 수 있습니다"라고 말하는 에이전트. 실행은 COMPLETED로 끝났습니다.

그중 어느 것도 빨간색 경고는 없었습니다. 그것이 바로 전체 문제입니다. 당신의 오류 워크플로우(error workflow)는 예외(exceptions)가 발생할 때만 작동합니다. 이들은 아무것도 던지지 않습니다.

현재 실제로 비용을 지불하는 것들

알아차릴 시간: 48시간에서 3주까지. 보통 고객이 알려줍니다.
진단 시간: 실행 기록을 파헤치는 데 6~15시간, 청구 불가.
사건 자체의 비용: $2,500–$8,000.

사건당입니다. 연간 네 건이라면 $10,000–$32,000에 더해 당신이 청구할 수 없는 60시간이 추가됩니다.

제가 구축한 것

Matrix는 실행 기록(run)이 주장하는 내용—"이메일 전송", "레코드 업데이트"—을 가져와서 권위 있는 시스템(authoritative system)을 읽어 실제로 발생했는지 확인합니다. 실행 로그가 아니라, 워크플로우가 스스로 작성한 것이 아닌 실제 메일함입니다.

세 가지 판결: 모순됨(contradicted), 확인됨(confirmed), 불명확함(inconclusive). 각 항목에 증거를 첨부합니다.

세 가지 점검 중 두 가지는 어떤 접근 권한도 필요하지 않습니다:

주장이 제기되었지만 도구(tool)가 호출된 적이 없는 경우—그 부재 자체가 증거입니다.
조회(lookup)가 403을 반환했지만, 실행은 그 조회가 보여줄 내용을 명시하는 경우. 호출 자체는 완료되었고 결과는 거부였습니다. 대부분의 래퍼(wrapper)들은 이를 무너뜨립니다.

세 번째는 연결된 메일함이 필요합니다: 도구가 호출되어 200을 반환했지만, 레코드가 존재하지 않는 경우입니다.

불명확함이 중요한 이유

추적(trace)이 완전했는지 증명할 수 없거나, 도구에 인식하지 못하는 이름이 있는 경우, 자신의 작동 중인 워크플로우를 거짓말쟁이라고 부르기보다는 판단을 거부합니다. 스스로의 불확실성을 낙관적으로 해결하는 모니터는 실제로 필요할 때 아무 가치가 없습니다.

무엇을 하지 않는가

Gmail은 유일한 외부 어댑터입니다. 잘못된 인자(argument)를 가진 올바른 호출을 잡아낼 수는 없습니다. 즉, 수신자 형식이 틀리거나, 수신자가 틀리거나, 실제 전송이 이루어지면 Gmail은 동의합니다. 그리고 한 번도 전송되지 않은 텍스트에 대한 허위 주장(false claim)은 되돌아와 비교할 결과가 없습니다.

설정

Cursor나 Claude Code에 한 줄을 붙여넣기만 하면 스스로 연결됩니다. 아니면 TypeScript나 Python으로 네 개의 호출을 수동으로 할 수도 있습니다.

matrixverify.dev — 무료, 20명 이상의 사용자, 그리고 저는 이것이 무시되기보다는 고장 나는 편이 낫다고 생각합니다.

여러분의 실행(execution) 중 하나에 대해 테스트해 드리고 제가 무엇을 발견하는지 알려드릴 수 있습니다. 아무것도 찾지 못했다는 사실까지 포함해서요.