AI 에이전트(AI agents)는 더 이상 단순히 질문에 답하는 것에 그치지 않습니다. 이들은 회의를 예약하고, 환불을 승인하며, API를 호출하고, 기록을 업데이트하며, 수십 개의 작은 결정들을 하나의 결과로 체인(chain)화합니다. 대부분의 경우, 이는 조용하고 원활하게 작동합니다. 하지만 무언가 잘못되었을 때, 골치 아픈 질문이 떠오릅니다. "에이전트가 왜 그렇게 행동했는가?" 오늘날 배포된 시스템의 상당 부분에서 이에 대한 제대로 된 답변은 존재하지 않습니다. 추론 과정, 참조된 데이터, 호출된 도구, 그리고 중간 단계들이 단순히 기록되지 않았기 때문입니다. 이것이 바로 기록되지 않은 에이전트 결정(undocumented agent decisions)의 문제이며, 이는 에이전트형 AI(agentic AI) 시대의 핵심적인 위험 중 하나가 되고 있습니다.

"기록되지 않음(Undocumented)"의 실제 의미

기록되지 않은 결정이 반드시 나쁜 결정이라는 뜻은 아닙니다. 이는 단순히 사후에 재구성할 수 없는 결정을 의미합니다. 실제로 이는 몇 가지 흔한 방식으로 나타납니다:

• 추론 없는 출력(Output without reasoning): 시스템은 에이전트가 무엇을 했는지는 로그(log)에 남기지만, 그 결과로 이어진 사고의 흐름(chain of thought), 도구 호출(tool calls), 또는 데이터 소스는 남기지 않습니다.
• 휘발성 중간 상태(Ephemeral intermediate state): 다단계 에이전트 체인(multi-step agent chains)은 최종 출력이 생성되면 단계 사이의 "연습장 작업(scratch work)", 즉 결정을 설명해 줄 수 있는 바로 그 자료들을 폐기하는 경우가 많습니다.
• 검토자의 사각지대(Reviewer blind spots): 인간은 결정을 도출한 추론 과정을 전혀 보지 못한 채 최종 권장 사항을 승인합니다. 이는 감독처럼 보일 수 있지만 의미 있는 감독은 아닙니다.
• 지속 가능한 저장소의 부재(No durable storage): 로그는 며칠 또는 몇 주 동안만 존재하다가 만료됩니다. 따라서 몇 달 후 누군가가 기록을 요청하면 이미 사라진 상태입니다.

이들의 공통점은 행동하는 것과 그 행동을 설명하는 것 사이의 간극입니다.

이것이 시급해지고 있는 이유

몇 가지 요인들이 결합되어 이 문제를 무시하기 어렵게 만들고 있습니다:

에이전트가 자율적으로 더 많은 일을 수행하고 있습니다. 에이전트가 단발성 어시스턴트에서 독립적으로 API를 호출하고, 데이터베이스를 다루며, 다운스트림 워크플로우(downstream workflows)를 트리거하는 시스템으로 진화함에 따라, 기록되지 않은 미세 결정(micro-decisions)의 수는 기하급수적으로 늘어납니다. 단 한 번의 고객 요청이 이제는 수십 개의 내부 단계를 포함할 수 있으며, 각 단계는 잠재적인 결정 지점이 됩니다.

사고는 이미 발생하고 있습니다. 2026년 기업 AI 배포에 대한 설문조사에 따르면, 대다수의 조직이 지난 한 해 동안 어떤 종류의 AI 에이전트 보안 또는 행동 관련 사고를 경험했지만, 실제로 자신들의 에이전트가 무엇을 하고 있는지 실시간으로 가시성을 확보한 곳은 소수였고, 감사 기록(audit trail) 자체가 전혀 없는 곳도 3분의 1에 달했습니다. 무언가 잘못되었을 때, 팀들은 종종 문제가 발생했다는 것만 알 수 있을 뿐, 에이전트가 무엇을 처리했는지 또는 데이터가 어디로 갔는지는 알기 어렵습니다.

규제가 따라잡고 있습니다. EU AI Act의 고위험 시스템 의무 사항은 2026년 중반에 전면 시행되어, 채용, 대출, 의료, 법 집행과 같은 영역에서 사용되는 시스템에 대해 타임스탬프가 찍힌 로그(logs), 모델 버전 추적(model version tracking), 그리고 의미 있는 인간 검토(meaningful human review) 증거를 요구합니다. NIST AI Risk Management Framework나 ISO 42001 같은 프레임워크들은 모두 동일한 기본적인 요구 사항으로 수렴하고 있습니다: 자동화된 결정이 어떻게 내려졌는지에 대한 포괄적이고 위변조 방지되는 기록입니다. 이러한 규정 하에서는, 단순히 '모델이 결정했다'는 답변만으로는 더 이상 받아들여지지 않으며—조직들은 결정의 사슬(decision chain)을 보여줘야 합니다.

사후에는 수정하기 어렵다

기존 에이전트 시스템에 문서화 기능을 추가하는 것은 몇 가지 이유로 생각보다 어렵습니다:

상태(State)가 분산되어 있습니다. 멀티 에이전트 체인(multi-agent chain)에서 각 에이전트는 다음 에이전트에게 업무를 인계하며, 매 인계 시점마다 누군가가 의도적으로 영구 저장소(durable storage)에 기록하지 않는 한 추론 신호(reasoning signals)는 메모리 내에만 존재합니다.

"최종 출력물(Final output)"을 검토하는 것은 감독(oversight)과 동일하지 않습니다. 결과를 도출한 경로를 보지 않은 채 결론에 승인하는 인간은 실제로 의미 있는 판단을 내린 것이 아니라, 블랙박스(black box)에 단순히 도장을 찍은 것에 불과합니다.

로깅(Logging)에는 비용이 따르며, 투자에 소홀해지기 쉽습니다. 전체 추론 흔적(reasoning traces), 도구 호출(tool calls), 데이터 출처(data provenance)를 캡처하는 것은 엔지니어링 오버헤드(engineering overhead)를 가중시키며, 사고나 감사(audit)가 발생하여 그 필요성이 증명될 때까지 이를 선택 사항으로 취급하고 싶은 유혹에 빠지기 쉽습니다.

버전 관리(Versioning)가 유실됩니다. 결정 사항이 기록되더라도, 팀들은 당시 어떤 모델 버전, 프롬프트(prompt), 또는 정책(policy)이 활성화되어 있었는지 기록하지 못하는 경우가 많습니다. 따라서 기록은 존재하지만 특정하고 재현 가능한 구성(reproducible configuration)과 연결할 수 없게 됩니다.

이 문제를 올바르게 해결하고 있는 조직들은 산업 분야와 관계없이 다음과 같은 유사한 구조로 수렴하는 경향이 있습니다:

• 단순한 출력이 아닌 완전한 결정 체인(decision chain): 입력값, 적용된 특정 정책 또는 규칙 버전, 참조된 데이터 소스, 추론 단계, 호출된 도구, 그리고 최종 작업.
• 변경 불가능하고 조작 방지(tamper-resistant)가 가능한 저장소: 사후에 기록이 몰래 수정될 수 없도록 암호화 해싱(cryptographic hashing)을 사용한 추가 전용 로그(append-only logs)를 주로 사용합니다.
• 명시적인 인간 감독 지점(human-oversight points): 하드 게이트(hard gates, 승인 대기 중 작업 차단) 또는 소프트 게이트(soft gates, 작업 진행 후 인간에게 통지)로 표시하여, 사람이 실제로 개입할 수 있는 권한을 가졌던 지점이 어디인지 명확히 합니다.
• 규제 타임라인에 부합하는 내구성(Durability): 규제 기관이나 감사인이 18개월 후에 기록을 요청할 수 있다면, 시스템은 여전히 해당 기록을 보유하고 있어야 합니다.

근본 원칙 (The Underlying Principle)

준수(compliance) 관련 용어들을 걷어내고 보면, 핵심 아이디어는 간단합니다. 당신을 대신하여 행동하는 모든 시스템은 스스로를 설명할 수 있어야 한다는 것입니다. 이는 에이전트가 대출을 승인하든, 구직자를 심사하든, 혹은 단순히 항공편을 재예약하든 마찬가지입니다. 추적 가능성(traceability)이 없는 자율성(autonomy)은 진정한 위임(delegation)이 아닙니다. 그것은 그저 단계만 더 추가된 위험일 뿐입니다.

에이전트가 더 중대하고 이해관계가 걸린(higher-stakes) 업무를 맡게 됨에 따라, 의사결정 기록(decision documentation)을 감사(audit) 직전에 덧붙이는 사후 조치가 아니라 시스템의 일급 시민(first-class part)으로 취급하는 조직만이 에이전트가 수행하는 작업을 실제로 신뢰하고, 디버깅(debug)하며, 방어할 수 있을 것입니다. 그렇지 못한 조직은 이미 많은 팀이 처해 있는 상황, 즉 아무런 설명도 없이 출력된 결과물을 바라보며 그것이 어떻게 도출되었는지 재구성할 방법조차 없는 상황에 직면하게 될 수도 있습니다.