AI 에이전트 명령 승인 시 인간은 3건 중 1건의 위협을 놓친다

Meta Description: 4만 번의 게임 실행을 통해 진행된 새로운 연구에 따르면, 인간은 AI 에이전트 명령을 승인할 때 3건 중 1건의 위협을 놓치는 것으로 나타났습니다. 이것이 2026년 AI 안전(AI safety) 및 감독에 무엇을 의미하는지 알아봅니다.

TL;DR

40,000회의 시뮬레이션 게임 실행을 사용한 획기적인 연구에 따르면, 인간 감독관들은 위험한 AI 에이전트 명령을 승인하기 전에 약 3건 중 1건을 잡아내지 못했습니다. 이는 가설적인 위험이 아닙니다. 오늘날 실제 워크플로에 AI 에이전트를 배치하는 모든 조직에 심각한 시사점을 주는 측정된 실패율입니다. 어떤 일이 일어났는지, 왜 중요한지, 그리고 실제로 무엇을 할 수 있는지에 대해 설명합니다.

핵심 요약 (Key Takeaways)

• 33%의 미탐지율: 40,000회의 테스트 실행 결과, 인간은 약 3건 중 1번꼴로 유해한 AI 에이전트 명령을 승인했습니다.
• 시간 압박, 인지 부하(cognitive load), 명령의 복잡성이 증가할수록 실패율이 악화되었습니다.
• "인간 참여형 (Human-in-the-loop)"은 안전을 보장하는 것이 아니라, 이 데이터가 도전 과제로 제시하는 하나의 안전 "가정"일 뿐입니다.
• 조직에는 단일한 인간 승인 단계가 아닌, 계층화된 감독 전략이 필요합니다.
• AI 에이전트 거버넌스(governance) 도구가 에이전트의 가공되지 않은 출력과 인간의 검토 사이에서 필수적인 계층으로 부상하고 있습니다.
• 프롬프트 인젝션 (Prompt injection) 및 미묘한 조작이 가장 빈번하게 놓친 위협 유형이었습니다.

이 연구가 AI 배포에 경종을 울리는 이유

만약 여러분이 "걱정 마세요, 인간이 개입하고 있습니다 (human in the loop)"라는 문구에 안심해 왔다면, 이 연구에 온전히 주목해야 합니다.

AI 에이전트를 감독할 때 인간 운영자가 내리는 결정 유형을 모방하도록 설계된 40,000회의 시뮬레이션 게임 환경 시험을 진행한 결과, 참가자들은 AI가 생성한 명령에 포함된 실제 위협 중 약 3건 중 1건을 놓치는 것으로 나타났습니다. 인간이 부주의하거나 훈련되지 않았던 것이 아닙니다. 많은 이들이 숙련된 상태였습니다. 그들은 단지 압도당했거나, 서둘렀거나, 혹은 겉보기에 정당해 보이는 명령에 속았을 뿐입니다.

4만 번의 게임 실행 과정에서 인간이 AI 에이전트의 명령을 승인할 때 3건 중 1건의 위협을 놓쳤다는 발견은 단순한 학술적 각주가 아닙니다. 이는 AI 벤더, 기업 IT 팀, 그리고 규제 기관들이 공통적으로 내세우는 가장 흔한 안전성 논거, 즉 '인간의 감독(human oversight)이 AI의 실수와 악의적인 출력물을 잡아내기에 충분하다'는 주장에 대한 직접적인 도전입니다.

충분하지 않습니다. 적어도 상당한 구조적 지원 없이는 말입니다.

연구 이해하기: 실제로 어떤 일이 일어났는가

실험 설정: 실제 세계의 에이전트 작업을 대신하는 게임 환경

연구진은 게임 기반 시뮬레이션을 사용했는데, 이는 AI 안전성 연구에서 보기 드문 통제 가능하고, 반복 가능하며, 측정 가능한 시나리오를 제공하기 때문입니다. 참가자들은 이러한 게임 환경 내에서 AI 에이전트가 내리는 명령을 승인하거나 거부하는 '감독관(supervisors)' 역할을 수행했습니다. 명령의 범위는 무해한 것(캐릭터를 X 위치로 이동)부터 진정으로 위험한 것(저장 파일 삭제, 게임 내 통화 유출, 동의 없이 다른 플레이어의 데이터 수정)까지 다양했습니다.

이는 보기보다 실제 세계의 AI 에이전트 작업과 더 밀접하게 닮아 있습니다. "AI가 행동을 제안함 → 인간이 승인 또는 거부함 → 행동이 실행됨"이라는 구조는 다음과 같은 분야에서 AI 에이전트가 작동하는 방식과 동일합니다:

• 자동화된 고객 서비스 파이프라인 (Automated customer service pipelines)
• 코드 생성 및 배포 워크플로 (Code generation and deployment workflows)
• 금융 거래 처리 (Financial transaction processing)
• 의료 기록 관리 (Healthcare record management)
• 사이버 보안 사고 대응 (Cybersecurity incident response)

인간이 가장 자주 놓친 위협 유형

모든 위협이 동일한 비율로 놓쳐진 것은 아닙니다. 데이터는 인간의 검토를 통과해 버린 위협들에 대해 명확한 계층 구조를 보여주었습니다:

패턴은 명확합니다. 위협이 정당한 명령과 더 유사할수록, 인간이 이를 승인할 가능성이 더 높아집니다.

무엇이 인간으로 하여금 위협을 더 놓치게 만들었는가?

세 가지 요인이 일관되게 놓침 비율(miss rate)을 높였습니다:

1. 시간 압박 (Time pressure): 운영자에게 결정당 주어지는 시간이 적을수록, 놓침 비율(miss rate)은 약 28%에서 40% 이상으로 상승했습니다.
2. 명령량 (Command volume): 한 세션에서 15~20개 이상의 명령을 검토할 경우 정확도가 현저히 저하되었습니다.
3. 복잡성 및 전문 용어 (Complexity and jargon): 기술적 언어를 사용하거나 이전 문맥을 참조하는 명령은 유해할 때조차 더 쉽게 승인되었습니다.

이는 인간 검토자의 성격 결함이 아닙니다. 이는 **인지 구조 (cognitive architecture)**의 문제입니다. 인간의 주의력은 유한하며, 패턴 매칭은 휴리스틱 (heuristic)적이고, 익숙함은 안주함을 낳습니다. 이를 무시하는 모든 안전 프레임워크 (safety framework)는 안전 프레임워크가 아니라, 오히려 리스크 (liability)가 됩니다.

더 큰 그림: 왜 AI 에이전트 감독은 기본적으로 결함이 있는가

"인간 참여형 (Human-in-the-Loop)"의 신화

인간 참여형 (Human-in-the-loop, HITL) 감독 개념은 AI가 개별적이고 드물게 결정을 내리던 시대에 개발되었습니다. 진단 AI의 권고를 승인하는 의사, 사기 징후를 검토하는 분석가와 같은 경우입니다.

현대의 AI 에이전트는 다릅니다. 이들은 지속적으로, 대규모로, 그리고 복합적인 행동 (compounding actions)을 수행하며 작동합니다. 단일 에이전트 워크플로 (agentic workflow)는 분당 수십 개의 미세 결정 (micro-decisions)을 포함할 수 있으며, 각 결정은 이전 결정 위에 쌓입니다. 인간에게 모든 단계를 의미 있게 평가하도록 요구하는 것은 감독이 아니라, 단지 보여주기식 행위 (theater)에 불과합니다.

[INTERNAL_LINK: AI 에이전트 프레임워크 및 에이전트 워크플로 아키텍처]

4만 번의 게임 실행 동안 AI 에이전트 명령을 승인하며 인간이 3건 중 1건의 위협을 놓쳤다는 연구 결과는, 사실 인지 과학자들이 수십 년 동안 알고 있었던 사실과 일치합니다. 즉, 지속적인 경계 작업 (sustained vigilance tasks)에는 자연적인 성능 저하 곡선이 존재한다는 것입니다. 20~30분간 모니터링을 지속하면 인간의 오류율은 급격히 상승합니다. 60분이 지나면 오류율은 두 배까지 높아질 수 있습니다.

AI 감독에서의 자동화 역설 (Automation Paradox)

AI 에이전트 감독의 중심에는 잔혹한 아이러니가 존재합니다. AI 에이전트가 더 유능해지고 자율적이 될수록, 우리는 그들의 작업을 확인하기 위해 인간에게 더 많이 의존하게 되지만, 그 확인 작업은 더욱 어려워진다는 점입니다.

에이전트가 더욱 정교한 결과물을 생성함에 따라, 인간이 의미 있게 평가할 수 있는 범위와 에이전트가 실제로 수행하는 작업 사이의 간극은 점점 더 벌어집니다. 이를 때때로 **자동화의 역설 (automation paradox)**이라고 부릅니다. 자동화는 인간의 부담을 줄이기 위한 것이지만, 오히려 이를 감독하는 인간에게 가해지는 인지적 요구(cognitive demands)를 증가시키는 경우가 많기 때문입니다.

[INTERNAL_LINK: 기업용 AI 배포에서의 자동화의 역설 (automation paradox)]

현재 조직들이 잘못하고 있는 것들

승인을 책임으로 착각하는 것

많은 기업용 AI 배포 사례에서 인간의 승인 클릭을 책임의 전가로 취급합니다. "인간이 승인했으니 우리는 책임이 없다"는 식입니다. 하지만 본 연구가 보여주듯, 만약 그 인간이 위협을 놓쳤다면(이는 33%의 확률로 발생합니다) 그 승인은 안전 제어 장치로서 아무런 의미가 없습니다. 그것은 보호 장치가 아니라 **기록된 실패 (documented failure)**일 뿐입니다.

감독 인프라에 대한 투자 부족

대부분의 조직은 AI 에이전트 자체에는 막대한 비용을 지출하면서, 인간이 에이전트를 감독할 수 있도록 설계된 시스템에는 거의 아무것도 투자하지 않습니다. 이는 주객이 전도된 것입니다. 약간 더 똑똑한 에이전트를 통해 얻는 한계 안전 이득(marginal safety gain)은, 인간 검토자에게 더 나은 도구, 더 나은 인터페이스, 그리고 더 나은 의사결정 지원(decision support)을 제공함으로써 얻는 이득보다 훨씬 작습니다.

단일 계층 검토

단 한 명의 인간 검토자, 단 한 번의 승인 단계, 또는 단 한 번의 감독에 의존하는 것은 불충분합니다. 효과적인 안전 아키텍처(safety architecture)는 **계층적 (layered)**이어야 합니다:

• 에이전트 명령에 대한 자동 사전 스크리닝 (Automated pre-screening)
• 플래그가 지정된 항목에 대한 인간의 검토 (모든 항목이 아닌)
• 승인된 명령에 대한 사후 감사 (Post-hoc auditing)
• 시간에 따른 에이전트 행동 패턴에 대한 이상 탐지 (Anomaly detection)

AI 에이전트 리스크를 줄이기 위한 실질적인 단계

1. 인간의 검토 전 자동 사전 스크리닝 구현

인간에게 건초더미에서 바늘을 찾으라고 요구하지 마십시오. 명령이 인간 검토자에게 도달하기 전에 자동화된 도구를 사용하여 잠재적으로 위험한 명령에 플래그를 지정하십시오. 이를 통해 인지 부하(cognitive load)를 줄이고, 가장 중요한 곳에 인간의 주의를 집중시킬 수 있습니다.

Patronus AI는 프롬프트 인젝션 (prompt injection) 및 정책 위반 탐지를 포함하여, AI 에이전트의 출력을 위해 특별히 설계된 자동화된 평가 파이프라인을 제공합니다. 이 분야에서 실제 기업 도입이 이루어지고 있는 비교적 성숙한 도구 중 하나입니다.

Lakera Guard는 프롬프트 인젝션 탐지에 특화되어 있으며, 탐지율에 대한 견고한 벤치마크를 발표했습니다. 프롬프트 인젝션이 주요 관심사라면 검토할 가치가 있습니다.

2. 세션당 검토량 감소

한 명의 인간이 연속된 세션 동안 검토하는 에이전트 명령의 수를 제한하십시오. 인지 부하 (cognitive load) 연구에 따르면, 정확도가 유의미하게 저하되기 전의 합리적인 상한선은 **세션당 15-20개의 고위험 결정 (high-stakes decisions)**입니다. 검토자를 교체하거나, 교대 근무 구조를 사용하거나, — 더 나은 방법으로는 — 더 나은 자동화된 필터링을 통해 인간에게 도달하는 양을 줄이십시오.

3. 고위험 작업에 대한 마찰(Friction) 설계

모든 에이전트 명령이 동일한 검토 노력을 필요로 하지는 않습니다. 고위험 작업 범주(데이터 삭제, 외부 API 호출, 권한 변경, 금융 거래)에 대해서는 **의도적인 마찰 (deliberate friction)**을 생성하도록 승인 인터페이스를 구축하십시오. 위험한 명령에 대해 더 느리고 더 많은 노력이 필요한 승인 프로세스를 만드는 것은 버그가 아니라 기능입니다.

4. 승인된 명령의 사후 감사

최선의 실시간 감독이 있더라도 일부 위협은 빠져나갈 수 있습니다. 워크플로에 사후 감사 (retrospective auditing) 기능을 구축하십시오. 매주 승인된 명령의 무작위 샘플을 검토하십시오. 패턴을 찾아내십시오. 이것이 개별 사고를 방지하지는 못하겠지만, 체계적인 문제가 위기로 번지기 전에 표면화해 줄 것입니다.

Weights & Biases는 에이전트 행동 로깅 및 감사 추적 (audit trail) 기능을 포함하도록 플랫폼을 확장했습니다. 이미 모델 학습을 위해 사용 중이라면, 에이전트 모니터링 기능을 탐색해 볼 가치가 있습니다.

5. 특정 위협 패턴에 대한 검토자 교육

일반적인 "주의하십시오" 식의 교육은 효과가 없습니다. 검토자들에게 그들이 놓칠 가능성이 가장 높은 구체적인 위협 사례 — 프롬프트 인젝션 (Prompt Injection) 구문, 미묘한 데이터 유출 (Exfiltration) 패턴, 권한 상승 (Permission Escalation) 프레이밍 등을 보여주어야 합니다. 연구 결과에 따르면 이 카테고리들이 가장 높은 미탐율 (Miss rates)을 보이는 것으로 나타났습니다. 이러한 특정 패턴에 대한 타겟형 교육은 미탐율을 유의미하게 줄일 수 있습니다.

[INTERNAL_LINK: AI 에이전트 보안 교육 프로그램 및 인증]

6. AI 보조 검토 고려 (주의 사항 포함)

인간의 승인 전, 에이전트 명령을 사전 검토하기 위해 두 번째 AI 시스템을 사용하는 것 — 본질적으로 AI가 AI를 점검하는 것 — 에 대해서는 타당한 논거가 존재합니다. 이는 패턴 기반의 위협을 대규모로 잡아낼 수 있습니다. 주의할 점은, 이 접근 방식 자체가 고유한 리스크를 동반하며 (검토하는 AI 또한 속을 수 있음), 인간의 감독을 대체해서는 안 된다는 것입니다. 다만, 인간 검토자에게 도달하는 진정으로 위험한 항목의 양을 유의미하게 줄여줄 수는 있습니다.

Prompt Security는 이러한 사용 사례를 위해 특별히 설계된 AI 기반 게이트웨이를 제공하며, AI 에이전트와 실행 환경 사이에 위치합니다.

이것이 AI 규제 및 거버넌스에 의미하는 바

EU AI Act의 HITL 요구 사항은 불충분할 수 있음

2026년부터 전면 시행되는 EU AI Act는 고위험 AI 시스템에 대해 인간의 감독 (Human oversight)을 의무화하고 있습니다. 하지만 "인간의 감독"은 광범위하게 정의되어 있으며, 본 연구는 그 감독의 _형태_가 매우 중요하다는 점을 시사합니다. 시간 압박 속에서 체크박스만 누르는 승인은 의미 있는 감독이 아닙니다. 규제 기관과 컴플라이언스 (Compliance) 팀은 이 연구에 주목하고 그에 따라 프레임워크를 업데이트해야 합니다.

기업용 AI 거버넌스의 발전이 필요함

대부분의 기업용 AI 거버넌스 프레임워크 (Governance frameworks)는 에이전트형 AI (Agentic AI)가 주류가 되기 전에 작성되었습니다. 이들은 분당 수십 개의 작업을 실행하는 연속적이고 다단계적인 에이전트가 아니라, 배치 처리 (Batch-processing) AI 도구에 적합한 감독 모델을 설명하고 있습니다. 거버넌스 프레임워크 (Governance frameworks)는 대대적인 업데이트가 필요하며, 33%의 놓침 비율 (miss rate) 데이터는 그 업데이트를 추진하는 강제 동력 (forcing function)이 되어야 합니다.

[INTERNAL_LINK: enterprise AI governance frameworks 2026]

향후 과제: 대체되는 감독이 아닌, 증강된 감독

인간이 AI 에이전트 명령을 승인할 때 3건 중 1건의 위협을 놓치는 문제에 대한 해답은 루프에서 인간을 제거하는 것이 아닙니다. 그것은 인간의 인지적 한계에 저항하는 것이 아니라, 인간의 인지적 한계와 함께 작동하도록 감독 시스템을 설계하는 것입니다.

이는 다음을 의미합니다:

• 자동화를 사용하여 인간이 검토해야 하는 양을 줄임
• 위협을 더 잘 보이게 만드는 인터페이스 설계
• 인간의 경계심에 의존하지 않는 구조적 안전장치 구축
• 감독을 인력의 문제가 아닌 시스템 설계의 문제로 취급

40,000회 실행된 이번 연구는 선물과 같습니다. 이는 이전에는 무시되었던 실패 모드 (failure mode)에 대해 정확하고 측정 가능한 데이터를 제공합니다. 이를 진지하게 받아들이는 조직은 그렇지 않은 조직보다 안전 결과와 규제 준수 (regulatory compliance) 측면 모두에서 훨씬 더 유리한 위치를 점하게 될 것입니다.

결론: 데이터를 무시하지 말고, 데이터에 따라 행동하십시오