AI 기술 거버넌스: Amazon이 Human-in-the-Loop가 실패한다고 말하는 이유

원문은 twarx.com에서 처음 게시되었습니다 - 전체 인터랙티브 버전은 그곳에서 읽어보세요.

최종 업데이트: 2026년 6월 20일

The Register는 방금 2026년 가장 반대 의견을 담은 AI 기술 (AI technology) 거버넌스 관점을 발표했습니다. Amazon의 보안 부사장(VP)은 Human-in-the-Loop (HITL, 인간 참여형) 방식이 AI를 더 안전하게 만드는 것이 아니라 오히려 덜 안전하게 만든다고 말합니다. 대부분의 AI 워크플로 (AI workflows)는 완전히 잘못된 문제를 해결하고 있습니다. 만약 당신이 에이전트 (agents)를 출시한다면, 이 단 하나의 재정의가 오늘부터 당신이 감독 체계를 설계하는 방식을 바꿀 것입니다.

이것이 지금 중요한 이유는 LangGraph, Anthropic의 MCP, AWS Bedrock, 또는 CrewAI를 통해 에이전트를 출시하는 모든 기업이 동일한 거짓말을 믿어왔기 때문입니다: 승인 단계에 인간을 결합하기만 하면 모든 것이 해결된다는 것입니다. Amazon, Google, Microsoft, 그리고 IBM은 같은 주에 공개적으로 그 모델을 포기하고 있습니다. 네 기업 모두가 동시에 말이죠. AI 기술 (AI technology) 사고방식의 이러한 단일한 변화는 모든 팀이 에이전트 감독을 어떻게 설계해야 하는지를 바꿉니다.

이 글의 끝에 도달하면 당신은 그 이면에 있는 시스템 실패 — 제가 'AI 조정 격차 (AI Coordination Gap)'라고 부르는 것 — 와, 인간의 검토가 도움이 되는 시점과 오히려 신뢰성을 능동적으로 파괴하는 시점이 정확히 언제인지를 이해하게 될 것입니다. 더 넓은 맥락을 위해서는 AI 거버넌스 트렌드 (AI governance trends)에 대한 저희의 보도를 참조하십시오.

Amazon Security의 수석 엔지니어이자 부사장(VP)인 Eric Brandwine는 인간 또한 비결정론적 (non-deterministic)이라고 주장하며, 이것이 'AI 조정 격차 (AI Coordination Gap)' 프레임워크의 핵심이라고 말합니다. 출처: The Register

개요: Amazon이 실제로 말한 내용

2026년 6월 20일 토요일 15:25 UTC, The Register의 Jessica Lyons는 Amazon Security의 수석 엔지니어이자 부사장(VP)인 Eric Brandwine와의 인터뷰를 '왜 Amazon은 Human-in-the-loop AI 거버넌스를 싫어하는가.'라는 직설적인 헤드라인과 함께 게시했습니다.

그 논거는 기만적일 정도로 단순합니다. Brandwine는 The Register에 우리가 '인간에 대해 다소 과도한 가치를 부여하고 있다(a little bit precious about humans)'고 말했습니다. 즉, 우리는 우리가 일관되고, 규율 있으며, 신뢰할 수 있다고 가정한다는 것입니다. 하지만 그렇지 않습니다. 그는

이 기사는 시스템적 관점을 통해 해당 뉴스를 재구성합니다. 진짜 핵심은 인간이 형편없는 검토자라는 것이 아니라, 우리가 에이전트 스택 (agent stack)의 잘못된 계층에 인간을 계속 삽입하고 있다는 점입니다. 그 계층에서 인간은 반복 작업에 따라 성능이 저하되는 반면, 실제 조정 (coordination) 문제는 전혀 해결되지 않은 채로 남겨집니다. 그것이 바로 격차 (gap)입니다.

명명된 프레임워크 (Coined Framework)

AI 조정 격차 (The AI Coordination Gap)

AI 조정 격차 (AI Coordination Gap)란 거버넌스가 '배치된' 지점(개별 에이전트의 행동을 인간이 승인하는 곳)과 신뢰성이 실제로 '결정되는' 지점(에이전트의 출력을 순차적으로 배열하고, 검증하며, 조정하는 오케스트레이션 계층 (orchestration layer)) 사이의 구조적 거리입니다. 대부분의 실패는 이 격차 내에서 발생하며, 아무리 많은 인간의 승인 클릭도 이 격차를 메울 수 없습니다.

각 단계의 신뢰성이 97%인 6단계 에이전트 파이프라인 (agent pipeline)은 엔드 투 엔드 (end-to-end)로 볼 때 신뢰성이 83%에 불과합니다. 하루에 200번 '승인'을 클릭하는 인간을 추가한다고 해서 수학적 계산이 해결되지는 않습니다. 그것은 단지 일곱 번째의 비결정론적 노드 (non-deterministic node)를 추가할 뿐입니다.

이것은 무엇인가: Human-in-the-Loop와 Amazon이 이를 포기하는 이유

이 글을 읽는 소상공인들에게 필요한 것은 용어 사전이 아니라 명확한 설명이기에, 이 개념을 솔직하게 정의해 보겠습니다.

**Human-in-the-loop (HITL)**은 AI 시스템이 중대한 행동을 취하기 전에 잠시 멈추고, 사람이 이를 승인하거나 거부할 때까지 기다리도록 설계된 제어 방식입니다. 환불 초안을 작성한 후 지원 매니저가 '전송'을 클릭할 때까지 기다리는 AI 에이전트를 생각해 보십시오. 여기서 인간은 안전 게이트 (safety gate) 역할을 합니다.

그 직관은 위안을 줍니다. 사람이 AI의 실수를 잡아낼 것이라는 믿음 말입니다. 하지만 Brandwine에 따르면, 현실은 사람이 실수를 잡아내는 것을 멈춘다는 것입니다. 그는 2017년 AWS re:Invent에서 처음 제시했던 개념인 **일탈의 정상화 (normalization of deviance)**를 언급합니다. 이는 사회학자 Diane Vaughan이 챌린저호 참사 (Challenger disaster)를 연구하며 만든 용어입니다. 이는 지름길을 택하거나 절차를 건너뛰어도 즉각적인 재앙이 발생하지 않을 때, 그러한 행위들이 조용히 규범으로 자리 잡으면서 규율이 서서히 침식되는 현상을 의미합니다. 저는 실제 운영 환경에서 이런 일이 일어나는 것을 목격해 왔습니다. 이는 극적이지 않습니다. 그저 값비싼 무언가가 고장 날 때까지 반복되는 평범한 화요일의 일상일 뿐입니다.

그의 예시는 참혹합니다. 응급실에서는 기계가 끊임없이 비프음을 냅니다. "업무 첫날에는 알람이 울릴 때마다 깜짝 놀라며 반응하겠지만—환자는 괜찮습니다. 그것은 가짜 알람 (spurious alarm)입니다... 시간이 흘러 이런 허위 알람이 충분히 쌓이면... 당신의 규율은 느슨해지고, 더 이상 반응하지 않게 됩니다. 그리고 결국 어떤 비극적인 결과가 발생합니다." The Register는 이러한 알람 피로 (alarm-fatigue) 현상이 의료 종사자, 소방관, 심지어 육군 조종사들 사이에서도 기록되어 있다고 언급합니다.

이제 이를 에이전트(agents)에 대입해 봅시다. Brandwine은 "만약 이 긴밀한 루프(tight loop) 안에 인간을 배치하고, 에이전트 도구(agentic tools)에 대한 승인 결정을 반복해서, 계속해서 내리도록 요구한다면, 처음에는 일을 잘 해낼 것입니다"라고 말했습니다. "그러다 보면 적당히 해낼 것이고, 아주 빠르게 형편없이 해내게 될 것입니다." 이것이 바로 그의 표현을 빌리자면, Amazon이 'Human-in-the-loop'를 그리 선호하지 않는 이유입니다. "그것은 반드시 필요한 곳에서만 신중하게 사용해야 하는 것입니다. 하지만 높은 속도(high velocity)로 수행할 수 있는 방식은 아닙니다."

핵심적인 통찰(killer insight)은 이것입니다: HITL(Human-in-the-Loop)이 실패하는 이유는 인간이 어리석기 때문이 아닙니다. 그것은 **승인(approval)이 반복적인 인지 작업(repetitive cognitive task)**이기 때문이며, 반복적인 인지 작업은 인간의 신뢰성(reliability)이 가장 빠르게 저하되는 바로 그 지점입니다. 당신은 가장 비용이 많이 들고 확장성이 가장 낮은 자원을, 그 자원의 가장 최악인 단일 사용 사례(use case)에 사용하고 있는 것입니다.

83%
각 단계의 신뢰도가 97%인 6단계 파이프라인의 엔드 투 엔드 신뢰도 (0.97^6)
[Compounding error in agent chains, arXiv](https://arxiv.org/abs/2210.03629)
...

작동 방식: 조정 격차(Coordination Gap) 뒤에 숨겨진 메커니즘

시스템 관점에서 Amazon의 입장이 왜 옳은지 이해하려면, 거버넌스(governance)가 어디에 '배치'되는지, 그리고 신뢰성(reliability)이 실제로 어디에서 '결정'되는지를 보아야 합니다.

단순한 에이전트 배포(agent deployment)에서 아키텍처는 직선처럼 보입니다: 에이전트가 추론하고, 도구(tool)를 호출하면, 인간이 승인하고, 도구가 실행합니다. 인간은 추론과 행동 사이에 위치합니다. 이는 안전하게 느껴집니다. 하지만 인간은 또 다른 비결정론적 시스템(non-deterministic system)의 출력을 검토하는 단일한 비결정론적 체크포인트(non-deterministic checkpoint)일 뿐입니다. 그리고 결정적으로, 그들은 해당 행동을 생성한 상류 컨텍스트(upstream context)나 그 행동이 유발할 하류 결과(downstream consequences)에 대한 가시성 없이, 오직 '고립된 상태(in isolation)'에서 검토합니다. 저는 이것이 체크포인트가 아예 없는 것보다 아키텍처 측면에서 더 나쁘다고 주장합니다. 실질적인 내용 없이 안전하다는 환상만을 만들어내기 때문입니다.

고장 난 루프: HITL이 실제로 위치하는 곳

  1

    **LLM 추론 (Claude / GPT)**

에이전트가 프롬프트(prompt)와 검색된 컨텍스트(retrieved context)를 바탕으로 행동을 계획합니다. 비결정론적 출력(Non-deterministic output) — 동일한 입력이라도 서로 다른 계획이 나올 수 있습니다.

↓

  2
...

에이전트가 모델 컨텍스트 프로토콜(Model Context Protocol)을 통해 구체적인 행동을 제안합니다 — 예: '$400 환불 처리', 'S3 버킷 삭제'.

↓

  3
...

사람이 승인/거절을 클릭합니다 — 오늘만 벌써 200번째입니다. 주의력(discipline)이 저하됩니다 (일탈의 정상화 (normalization of deviance)). 상류 컨텍스트 없이 고립된 상태에서 검토합니다.

↓

  4
...

액션(Action)이 돌이킬 수 없이 실행됩니다. 이제 모든 오류는 운영 환경(production)에 반영됩니다. 승인 위치와 신뢰성 결정 사이의 '간극(gap)'이 완전히 드러납니다.

인간은 3단계에 위치하여 한 번에 하나의 결정만을 검토하는 피로도가 높은 단일 체크포인트 역할을 수행하지만, 실제 신뢰성은 1, 2, 4단계가 어떻게 조정(coordinated)되느냐에 따라 결정됩니다.

해결책은 인간을 제거하는 것이 아닙니다. 거버넌스를 개별 액션의 승인 슬롯에서 **오케스트레이션 레이어 (orchestration layer)**로 이동시키는 것입니다. 이곳에서는 결정이 결정론적(deterministically)으로 검증될 수 있고, 정책과 대조(reconciled)될 수 있으며, 책임 소재를 위해 로그가 기록되고, 오직 진정한 예외 상황에서만 인간에게 에스컬레이션(escalated)될 수 있습니다. 이것이 Nadella의 '루프 학습 (loop learning)'과 지친 분석가가 환불 요청에 기계적으로 승인(rubber-stamping)을 누르는 것의 차이입니다. 우리의 에이전트 아키텍처 (agent architecture) 심층 분석에서 이 내용이 어떻게 전개되는지 확인해 보세요.

정립된 프레임워크

AI 조정 간극 (The AI Coordination Gap) — 레이어 관점

간극을 메운다는 것은 하나의 인간 체크포인트를 네 가지 조정 레이어로 대체하는 것을 의미합니다: 결정론적 가드레일 (deterministic guardrails), 정책 대조 (policy reconciliation), 결과 평가 (outcome evaluation), 그리고 예외 상황에만 국한된 인간의 책임 (exception-only human accountability). 인간은 게이트(gate) 역할을 멈추고 백스톱(backstop, 최후의 보루)이 됩니다.

조정 레이어: Amazon이 암시하는 대안

  1

    **결정론적 가드레일 (Deterministic Guardrails)**

판단이 아닌 코드에 의해 강제되는 엄격한 제한입니다. 'X달러 이상의 환불 불가', '태그 없는 파괴적인 AWS 호출 불가' 등입니다. 매번 실행되며, 결코 피로를 느끼지 않습니다.

↓

  2
...

LangGraph / AWS Bedrock 오케스트레이터가 실행 전, 제안된 액션을 조직 정책 및 이전 트레이스(traces)와 대조하여 확인합니다.

↓

  3
...

Nadella의 '프라이빗 평가 (private evals)' — 공개 벤치마크가 아닌, 실제 내부 트레이스를 통해 에이전트가 비즈니스 결과 측면에서 개선되고 있는지 측정합니다.

↓

  4
...

IBM의 모델: 지정된 인간이 시스템을 소유하며, 플래그(flagged)가 지정된 이상 징후만을 검토합니다. 즉, 200번의 일상적인 클릭이 아니라 신호가 높은(high-signal) 결정만을 다룹니다.

거버넌스는 단일하고 피로도가 높은 게이트에서 네 가지 레이어로 이동하며, 인간은 신호가 높은 예외 사항을 검토함으로써 중요한 지점에서 규율을 유지합니다.

AI 조정 격차 (AI Coordination Gap)를 해소하기 전과 후의 모습: 피로를 유발하는 하나의 인간 게이트(human gate)가 결정론적 가드레일 (deterministic guardrails)과 예외 사항에 대해서만 책임을 지는 인간의 책임 구조로 대체되었습니다.

소상공인에게 주는 의미

만약 당신이 10명 규모의 회사를 운영하며 고객 지원, 송장 발행 또는 일정 관리를 위해 AI 에이전트 (AI agent)를 배치했다면, 이 소식은 즉각적으로 실행 가능하며 실제로 비용을 절감해 줄 수 있습니다.

기회 요소: 대부분의 소상공인은 책임감 있게 느껴진다는 이유로 기본적으로 HITL (Human-in-the-Loop)을 사용합니다. 하지만 승인을 위한 클릭 한 번마다 직원의 주의력이 소모됩니다. 만약 고객 지원 팀장이 AI가 초안을 작성한 답변을 승인하는 데 하루 90분을 소비한다면, 이는 한 달에 약 30시간에 해당합니다. 시간당 비용을 40달러로 계산하면, 직원이 점점 더 효율이 떨어지고 있는 작업에 매달 월 1,200달러라는 값비싼 인간의 주의력을 소비하고 있는 셈입니다.