실행이 완료되었다. 상태는 done이라고 표시했다. 요약은 자신감 있고 구체적이었지만, 현실과는 완전히 동떨어져 있었다. 이메일 배치(batch)를 전송했다고 보고했지만, 그중 하나는 반송되었고, 심지어 발송을 수행한 바로 그 컴포넌트가 주장했으며, 아무도 이를 확인하지 않았다.
크래시된 것은 없었다. 이것이 이 글의 요점이다. 예외(exceptions)를 발생시키는 에이전트 실패는 쉬운 종류다 — 시스템에서 알림이 간다. 나에게 실제 디버깅 시간을 소모하게 만든 실패는 모든 신호가 성공을 말하는 경우인데, 그 이유는 에이전트가 스스로 숙제를 채점했기 때문이며, 출력 문서는 자신이 주장하는 단 하나의 명제도 증명할 필요가 없었기 때문이다.
저는 Forward Deployed Engineer(현장 배치 엔지니어)이며, 이 패턴이 세네 번째로 저를 괴롭힌 후, 저는 그 형태들을 기록하기 시작했다. 총 여섯 가지다. 저는 이것들을 '사일런트 실패(silent failures)'라고 부르며, 결국 이를 위한 검증기인 FailLoud를 만들었다. 이는 제가 만든 오픈 소스 프로젝트이며, 미리 공개하자면: FailLoud는 LLM 에이전트 출력에 대한 결정론적 검증 하네스(deterministic verification harness)이다 — 에이전트가 '완료'로 내보내는 사일런트 실패들을 포착한다. 판단 과정에는 LLM은 없다. CI용 CLI(exit 0: 통과 / 1: 실패 출력 / 2: 도구 오류), Python API, 그리고 루프 안에서 서브 에이전트의 출력을 검증하여 행동을 취하기 전에 확인하는 MCP 서버를 갖추고 있다.
여기에 분류 체계가 있다. 만약 여러분이 에이전트를 실행한다면, 이 중 적어도 세 가지에 직면했을 것이다.
FL001 — placeholder_shipped
출력은 완료로 선언되었지만 페이로드(payload)는 비어 있거나 아직 초안 스캐폴딩(draft scaffolding)을 담고 있다: lorem ipsum, 렌더링되지 않은 {{template}} 중괄호,
징후(The tell): 증빙 자료가 없는 주장. 제 경험상 이는 가장 흔하고 비용이 많이 드는 침묵적 실패(silent failure)이며, 그 이유는 후속 단계들이 이 정보를 즉시 기반으로 삼기 때문입니다.
FL003 — stale_state
작업 자체는 완벽하지만, 설명하는 세계가 존재하지 않는 경우입니다. 허용된 기간보다 오래된 상태 스냅샷(state snapshot)에서 계획된 실행이거나—제가 유지했던 한 출력물에서는 상태 타임스탬프가 24시간 제한 대비 77.1시간이나 되었던 경우—또는 상태에 신선도 타임스탬프 자체가 없거나, 실행에 전달된 상태 버전(9)이 해당 상태가 가지고 있던 버전(7)과 불일치하는 경우입니다. 아무도 스냅샷을 확인하지 않고, 모두가 계획(plan)만을 확인합니다.
징후: 올바른 작업이지만, 죽은 컨텍스트(dead context).
FL004 — count_mismatch
요약에서는 12건이라고 하는데, 같은 문서의 항목별 기록에는 9건만 포함되어 있습니다. 보고서는 시도된 행동(actions attempted)을 세고; 청중은 완료된 행동(actions completed)으로 인식하며; 둘 다 동일한 JSON에 존재하고 JSON이 '괜찮아 보이는' 바람에 아무도 이 숫자를 목록과 대조하여 확인하지 않습니다. 오직 목록만이 진실이었던 것입니다.
징후: 개수와 항목들이 같은 문서 안에 존재하지만 불일치합니다.
FL005 — missing_components
필요한 모든 필드는 존재하지만, 그중 하나가 비어 있는 경우입니다. 또는 분할된 결과물(비디오, 다중 파트 보고서)에 길이가 0인 세그먼트가 있거나, 내용이 있어야 할 곳에 침묵의 공백(silent gap)이 존재하는 경우입니다. 한 세그먼트 내부가 문자 그대로 침묵했음에도 불구하고, 전달된 비디오는 우리가 가진 모든 검사를 통과한 적이 있습니다. 존재한다는 것이 완전함을 의미하지 않습니다.
징후: 슬롯은 점유되어 있지만 아무것도 포함하고 있지 않습니다.
FL006 — unsupported_answer
RAG(검색 증강 생성, Retrieval-Augmented Generation) 실패 사례이며, 6가지 중 가장 최신 유형입니다. 이는 실무자들이 '시스템이 검색은 하고 인용도 하지만, 답변 자체는 여전히 틀리다'라는 동일한 불만을 계속 제기했기 때문에 0.6.0 버전에서 추가되었습니다. FL006은 결정론적으로 확인할 수 있는 근거(grounding)의 부분들을 검사합니다:
- 모든 인용은 실제로 검색된 출처로 해결되어야 합니다. 아무것도 가리키는 인용은 그것이 얼마나 자신감 있게 보이든 조작(fabricated)입니다.
- 인용된 모든 출처에는 텍스트가 포함되어야 합니다. 빈 출처는 아무것도 뒷받침할 수 없습니다.
- 답변의 모든 숫자는 출처에 나타나야 합니다. (1,200, 1200 및 1200.0은 같은 숫자입니다.)
저장소(repo)의 예시에서:
$ failloud check examples/rag_failing.json --only FL006
Verdict: FAIL (4 error(s), 0 warning(s))
조작된 인용 2개와 꾸며낸 수치 2개. FL006이 의도적으로 주장하지 않는 것은 의미적 함의(semantic entailment)입니다. 이 도구는 산문이 출처로부터 따라오는지 여부를 판단하지 않습니다. 어떤 모델도 판정 과정에 개입할 수 없으며, 만약 개입한다면, 가장 자신감 넘치는 학생의 숙제를 채점하는 상황으로 돌아갑니다.
현실을 만드는 데모
저장소는 처음 다섯 가지 실패 사례를 한 번에 저지르는 사실적인 에이전트 출력을 제공하며, 이를 수정한 쌍둥이(corrected twin)도 제공합니다:
$ failloud check examples/failing_output.json
FAILLOUD — agent output verification
Verdict: FAIL (8 error(s), 1 warning(s))
...
모든 발견 사항은 JSON 경로와 그 뒤의 숫자를 가지고 있습니다. 예: $.counts.sent는 12로 보고되었지만, 항목별 기록에는 9개의 항목이 포함되어 있습니다. "뭔가 이상해 보인다"는 발견 사항이 아닙니다. 경로와 숫자 자체가 발견 사항입니다.
전체 과정을 먼저 브라우저에서 실행할 수 있습니다. 에이전트 출력을 붙여넣고 실패 보고서를 받기만 하면 되며, 아무것도 업로드할 필요가 없습니다: FailLoud Playground.
독자가 발견한 허점과 두 번째 검증 단계
제가 처음 이 주제에 대해 글을 쓸 때, 한 검토자가 실제 허점을 지적했습니다: 출력은 일관되게 틀릴 수 있습니다. "9개 전송됨(9 sent)", 9개의 항목이 나열되었고, 모든 주장에 ID가 붙었지만—그 메시지 중 하나는 몇 시간 후에 여전히 반환됩니다. 완료 시점에는 모든 내부 검사가 통과(PASS)를 표시합니다. 하지만 세상은 그 이후에 동의하지 않습니다.
그들이 옳았습니다. 따라서 FailLoud PASS는 이제 **잠정적(provisional)**으로 표시됩니다. 이는 "이 문서가 스스로 모순되지 않는다"는 의미이지, "실제로 발생했다"는 의미가 아닙니다. 두 번째 패스인 failloud recheck는 원본 주장들을 기록 시스템(system of record)의 나중 스냅샷—제공자 배송 내보내기(provider delivery export), 데이터베이스 추출(database extract)—과 비교하여 재판단합니다:
$ failloud recheck examples/second_pass_original.json examples/second_pass_record.json
FAILLOUD — second-pass verification
First pass: PASS (provisional)
...
모든 주장은 확인됨(confirmed), 모순됨(contradicted), 또는 검증 불가(unverifiable) 중 하나로 돌아옵니다. 증거를 언급하지 않은 기록은 그것을 확인한 것이 아닙니다. 침묵이 패스로 격상되지 않습니다.
이것이 하지 않는 것 (What this doesn't do)
FailLoud는 모델에게 출력이 "좋아 보이는지"를 묻지 않습니다. 품질 점수(quality scores), 충실도 백분율(faithfulness percentages), 대시보드 등을 생성하지 않습니다. 테스트 세트에 대한 점수화된 판단이 필요하다면, DeepEval과 Ragas가 이를 위해 구축되었으며 저는 그들 앞에서 그렇게 말할 것입니다. FailLoud는 더 좁고, 더 민망한 질문에 답합니다: 에이전트가 발생했다고 말한 일이 실제로 일어났는지—그리고 그것의 자체 출력이 그것을 증명하는지?
이것은 초기 프로젝트입니다. 첫 출시일은 2026년 11월 12일이었고, 테스트는 162개이며, 의존성 없는 핵심(zero-dependency core)을 가지고 있고, MIT 라이선스입니다. 아직 사용자 기반을 제시할 수는 없습니다. 제가 제시할 수 있는 것은 분류 체계(taxonomy)인데, 이는 브레인스토밍이 아닌 실제 운영 환경에서 나왔기 때문입니다. 만약 귀하의 에이전트가 일곱 번째 침묵하는 실패를 배포했다면, 저는 그 형태를 알고 싶습니다: 이 도구에 있는 검사들은 실제로 에이전트가 그렇게 실패했기 때문에 존재합니다.
이 시리즈의 다음 내용은: 게이트를 CI에 배치하여 나쁜 에이전트 출력이 실패하는 테스트처럼 빌드를 실패하게 만드는 것입니다—그리고 검증기(verifier)가 루프 안에 위치하는 MCP 버전입니다.