몇 주 전, 우리는 도구(tool)가 연결된 에이전트들이 24시간 내내 작동하는 자율 AI 에이전트 플릿(fleet)인 우리 자신의 운영 시스템을 매우 부끄러울 정도로 간단한 방법으로 감사(audit)했습니다. 바로 사용자가 사용하는 방식 그대로 엔드 투 엔드(end-to-end)로 직접 구동해 보며, 어떤 부분이 연결되지 않은 채 남아 있는지 확인한 것입니다. 그 결과, 이미 출시되었으나 조용히 죽어버린 약 36개(정확히 34개였습니다. 우리가 직접 세었으며 반올림하지 않았습니다)의 사용자 대상 기능들이 발견되었습니다. 명령은 존재했고, 인터페이스도 존재했습니다. 하지만 그 뒤의 엔진은 연결된 적이 없었거나 조용히 멈춰 있었습니다. 모든 대시보드가 녹색(정상)을 유지하는 동안, 각 기능은 정중하게 "여기에 아무것도 없습니다"라는 응답만을 반환했습니다. 테스트와 정적 분석(static analysis)은 몇 주 동안 이 부류를 놓치고 있었습니다. 우리는 검증된 수정 사항과 단일 명령으로 실행 가능한 회귀 방지 도구(regression guard)를 배포한 후, 더 불편한 발견 사항을 마주하고 앉았습니다.

그 무엇도 우리를 공격하지 않았습니다. 아무것도 충돌하지 않았습니다. 아무런 경보도 울리지 않았습니다. 만약 그 34개의 조용한 스텁(stub)들이 실제 비즈니스를 위한 자금 이동, 자격 확인, 또는 보험 청구 접수를 담당하고 있었다면, 그 결과는 손실이었을 것입니다. 보고할 침해 사고도 없고, 사고 발생 시각도 없으며, 지목할 적대자도 없는, 실제적이고 아마도 막대한 손실 말입니다. 어떤 보안 제품이 그것을 잡아내기로 되어 있었을까요? 어떤 보험 정책이 그것을 보상하기로 되어 있었을까요?

그 질문에는 특정한 형태가 있으며, 그 형태가 바로 이 에세이의 주제입니다. AI 에이전트의 도입은 **비적대적(non-adversarial)**이면서, 상관관계가 있고(correlated), 조용한(silent) 손실 부류를 만들어내고 있습니다. 그리고 거의 모든 기존 리스크 관리 도구들은 이 세 가지 특성 중 적어도 하나를 놓치도록 설계되었습니다. 우리가 이 부류를 새로 발견한 것은 아닙니다. 지난 1년 동안 학계와 업계 문헌들이 이를 명명하는 데 의견을 모아왔으며, 아래에 해당 연구를 인용하겠습니다. 우리가 추가할 수 있는 것은 외부의 관점에서는 구조적으로 제공할 수 없는 부분, 즉 실패가 실제로 발생하는 인프라 내부에서 이 부류가 어떻게 보이는가 하는 점입니다.

세 가지 특성, 패배한 세 가지 도구

비적대적 (Non-adversarial). 실수로 허용된 일을 조용히 수행하는 에이전트는 보안 침해(breach)가 아닙니다. 공격자도, 익스플로잇(exploit)도, 전술·기법·절차(TTPs)의 진입도 없습니다. 이것이 중요한 이유는 우리의 리스크 관리 도구(위협 인텔리전스, 사고 데이터베이스, 사이버 언더라이팅 모델)의 상당 부분이 공격자 데이터를 기반으로 구축되었기 때문이며, 공격자를 탐지하도록 설계된 도구들은 공격자가 존재하지 않는 손실 유형을 체계적으로 과소 산정하게 됩니다. 업계는 이미 이런 경험이 있습니다. 수년 동안 "사일런트 사이버 (silent cyber)" 손실은 컴퓨터를 전혀 언급하지 않는 재산 및 배상책임 보험(property and liability policies) 내에 존재했으며, 사이버 손실이 침입(intrusion)의 형태를 띨 것이라고 예상하는 도구들에게는 보이지 않았습니다.

상관관계 (Correlated). 독립적으로 구축된 AI 배포 포트폴리오는 독립적이지 않습니다. 이러한 배포들은 동일한 몇 개의 파운데이션 모델(foundation models), 동일한 소수의 에이전트 프레임워크(agent frameworks)에 의존하며, 운영자 측면에서 저희가 증언할 수 있는 부분은, 모두가 동일한 튜토리얼과 기본 설정(defaults)을 사용하여 조립하기 때문에 동일한 미설정(misconfigurations)이 반복된다는 점입니다. 하나의 상류(upstream) 모델 퇴보(regression)는 소유주, 산업 분야, 지리적 위치가 전혀 공유되지 않는 수천 개의 시스템 전체에 걸쳐 발생하는 공통 모드 이벤트(common-mode event)가 됩니다. 재난 모델(Catastrophe models)은 물리적 거리를 통해 리스크의 상관관계를 제거하지만, 여기에는 거리가 존재하지 않습니다. 포트폴리오 요인 모델(Portfolio factor models)은 리스크를 금리, 섹터, 신용, 매크로, 지리적 요인으로 분해하지만, 공유된 모델 인프라는 대응하는 열(column)이 없는 직교 요인(orthogonal factor)입니다.

침묵 (Silent). 지배적인 실패 모드는 시스템 충돌(crash)이 아닙니다. 그것은 모든 대시보드가 녹색(정상)을 유지하는 동안, 작동을 멈춰버린 실행 경로(action path)이거나 조용히 확장되는 권한입니다. 모니터링(Monitoring)은 '무슨 일이 일어나고 있는지'를 감시하지만, '무엇이 일어나지 않게 되었는지'를 알아차리는 데는 구조적으로 취약합니다. 분기별 감사, 연례 검토, 샘플 파일 점검과 같은 인간 중심의 통제(Human-cadence controls)는 드리프트(drift)가 느리고 산발적이라고 가정합니다. 기계적 드리프트(Machine drift)는 빠르고 체계적입니다. 두 검토 주기 사이의 모든 트랜잭션에 잘못된 로직이 일관되게 적용되어, 그 기간 내내 완벽하게 일관성 있어 보일 수 있습니다.

중요한 클래스는 바로 _교집합 (intersection)_입니다. 즉, 지목할 수 있는 트리거 이벤트(trigger event) 없이 발생하는, 상관관계가 있고, 조용하며, 책임 소재를 가릴 수 없는 손실입니다. 각 속성 하나만으로는 특정 도구를 무력화할 수 있습니다. 하지만 이들이 결합되면 리스크 스택 (risk stack)의 중간에 위치한 간극을 설명하게 됩니다. 이 간극은 위협 인텔리전스 (threat intelligence)라고 하기에는 너무 운영적이고, 대재앙 (cat) 사고 방식 (thinking)으로 다루기에는 너무 상관관계가 높으며, 감사 주기 (audit cadence)로 포착하기에는 너무 조용하고, 적대자나 과실 이야기가 있어야 활성화되는 그 어떤 것에게도 책임 소재를 돌리기에는 너무 무결합니다.

다섯 가지 도구, 하나의 사각지대

표준적인 도구들을 나란히 놓아보면 그 패턴을 외면하기 어렵습니다. (이 표는 새로운 발견이 아니라 종합적인 결과물입니다. 각 행은 해당 분야 전문가들에게는 잘 알려진 내용이지만, 핵심은 모든 사각지대가 동일한 세 가지 속성의 형태를 띠고 있다는 점입니다.)

도구	기반이 되는 가정	AI 에이전트 리스크가 이를 위반하는 방식	그로 인해 놓치는 것
보험계리 모델 검증 (Actuarial model validation)	검증 사이에 모델 구조가 유지됨; 출력을 검증하는 것이 도구를 검증함	비정상성 (Non-stationary) 동작; 출력이 안전하다고 해서 행동이 안전한 것은 아님	수치상으로는 검증되었으나 행동 측면에서는 안전하지 않은 도구
...

마지막 열을 따라 읽어보십시오: 조용하고, 과소 집계되며, 상관관계가 있고, 상관관계가 있으며, 조용합니다. 다섯 가지 도구, 다섯 가지 전문 커뮤니티, 하지만 하나의 공유된 사각지대 형태입니다.

분야가 수렴하고 있다는 점은 희소식입니다

만약 이 논제가 우리만의 것이라면, 여러분은 이를 무시해야 할 것입니다. 하지만 그렇지 않습니다. 이 논제는 최근에 이루어진, 구체적이며, 인용 가능한 근거들을 통해 뒷받침되고 있습니다.

학술적인 측면에서, Leung, Zhang, Ling, Toyoda 및 Loh는 "The Insurability Frontier of AI Risk" (arXiv:2605.18784, 2026년 5월)를 발표했습니다. 이 연구는 26개의 보험 상품에 대해 55개의 AI 위협 클래스 (threat classes)를 코딩하였으며, 모든 위협을 4단계의 프런티어(frontier)로 분류했습니다: 확정적 보험 가입 (affirmatively insured), 침묵적 AI 노출 (silent-AI exposure), 능동적 제외 (actively excluded), 또는 민간 보험의 범위를 완전히 벗어남 (outside private insurance altogether). 중간 단계의 명칭에 주목하십시오. "침묵적 (silent)"이라는 어휘는 이제 표준이 되었습니다. 그리고 집중도 (concentration)에 관하여, 그들의 결론은 그대로 인용할 가치가 있습니다: 파운데이션 모델 (foundation-model)의 집중은 "상류(upstream) 모델의 실패가 동시에 많은 출재사 (cedents) 전반에 걸쳐 손실을 상관시킬 수 있기 때문에, 진정으로 새롭고 명확한 보험 가입 가능성의 프런티어이다."

산업 측면에서는, 3대 재보험 브로커 중 하나인 Gallagher Re가 MIT 및 Testudo와 협력하여 2026년 3월에 "Smart Systems, Blind Spots: Rethinking Insurance for the AI Era"를 발표했습니다. 이 보고서의 축적 (accumulation) 논거를 의역하자면 다음과 같습니다: AI 생태계가 소수의 파운데이션 모델 제공자에게 의존한다는 것은, 널리 채택된 하나의 모델에서 발생한 치명적인 결함이 동시에 수천 명의 무관한 보험 가입자들에게 걸쳐 보험 청구 (claims)를 유발할 수 있음을 의미합니다. 이는 산업과 관할 구역 전반으로 전파되며, 허리케인이나 지진과 달리 손실의 상관관계를 낮출(decorrelate) 지리적 또는 부문적 경계가 존재하지 않습니다. 동일한 보고서는 확대되는 보호 격차 (protection gap)를 설명합니다: 환각 (hallucination), 알고리즘 차별 (algorithmic discrimination), 모델 드리프트 (model drift), 그리고 공급망 침해 (supply-chain compromise)는 기존의 사이버 (cyber), 전문인 배상책임 (E&O), 제조물 책임 (product-liability), 그리고 일반 배상책임 (general-liability) 약관 (wordings)이 해결하도록 설계되지 않은 메커니즘을 통해 부채 (liabilities)를 생성합니다.

기술적인 측면에서 보면, 올해 액션 레이어(action-layer)의 증거가 더욱 견고해졌습니다. Cartagena와 Teixeira의 "Mind the GAP" (arXiv:2602.16943, 2026년 2월) 연구는 6개의 규제 영역에 걸쳐 17,420개의 데이터 포인트를 사용하여 6개의 프론티어 모델(frontier models)을 테스트했으며, 모델이 텍스트로는 거부하면서도 도구 호출(tool call)을 통해 금지된 동작을 그대로 실행한 219개의 사례를 기록했습니다. 이러한 괴리는 안전 강화 프롬프트(safety-reinforced prompts) 하에서도 지속되었으며, 도구 호출의 안전성은 프롬프트 문구만으로도 21~57%포인트까지 요동쳤습니다. 이것이 앞서 언급한 모든 현상의 기저에 깔린 메커니즘입니다. 즉, 눈에 보이는 안전(모델의 언어)이 실제로 일을 수행하는 레이어(모델의 행동)로 전이되지 않는다는 것입니다. 이제 측정 가능한 수치로 증명되었듯, 출력 안전(output-safe)이 곧 행동 안전(action-safe)을 의미하지는 않습니다.

그리고 시장은 사이버(cyber) 분야에서 결국 일어났던 것과 동일한 움직임을 시작했습니다. 최소한 한 곳의 사이버 보험사가 해당 노출(exposure)을 명시적으로 명명하기 시작했습니다. Coalition의 Affirmative AI Endorsement는 "보안 실패(security failure)"의 범위를 AI 보안 이벤트까지 확장하고, 자금 이체 사기(funds-transfer-fraud) 트리거를 딥페이크(deepfake)로 전송된 지침까지 확대했으며, 이어 Deepfake Response Endorsement도 출시되었습니다(제품 세부 사항은 보도된 내용이며, 구체적인 내용을 신뢰하기 전에 확인이 필요합니다). 명시적 명명(Affirmative naming)은 침묵하던 노출이 가격이 책정되는 노출(priced exposure)로 변하는 방식입니다. 이는 약 15년간의 침묵과 한 번의 대재앙 이후, Lloyd's Market Bulletin Y5258이 2019년 7월 사이버 분야에 부과했던 '명시하거나 제외하라(affirm-or-exclude)' 아크의 바로 그 시작점입니다.

따라서 리스크는 명명되고, 분류(taxonomized)되며, 서서히 보장(endorsed)되고 있습니다. 하지만 해당 문헌들에 아직 포함되지 않은 것은 내부자의 기록입니다. 보험사는 해당 클래스의 가격을 책정하고, 학계는 이를 지도화(map)합니다. 하지만 그들 중 누구도 자율 에이전트 플릿(autonomous agent fleet)을 운영하지는 않습니다. 우리가 운영합니다.

내부에서 본 모습

이론을 걷어내고 보면, 우리의 사고 사례들은 두 가지 지루한 레시피로 귀결됩니다. 이국적인 탈옥(jailbreaks)이나 적대적 프롬프트(adversarial prompts)가 아닌, 다음의 두 가지입니다:

범위 확장 (Scope creep). 에이전트가 누구도 부여한 기억이 없는 수준의 더 많은 권한을 갖게 되는 상황입니다. 권한은 소프트웨어에서 늘 그래왔던 방식(마이그레이션을 위한 일시적 부여, 디버깅 편의성, "딱 하나만 더" 필요한 기능이 포함된 통합 등)으로 축적되지만, 에이전트는 그 권한의 전체 범위를 기계의 속도로 지속적으로 _사용_한다는 점이 다릅니다. 저희의 경험상, 이것이 중요한 사고를 일으키는 가장 흔한 단일 근본 원인입니다. 학술적인 액션 레이어 (action-layer) 결과는 이를 예측하지만, 우리는 이를 실제로 겪습니다. 아무도 무엇인가를 공격하지 않습니다. 시스템은 단지 허용된 일을 수행할 뿐이며, 그 허용된 일은 누군가가 믿고 있는 허용 범위로부터 멀리 벗어나 있습니다.

침묵하는 실패 (Silent failure). 두 번째 레시피는 저희의 서른네 개나 되는 폐기된 기능들이 구현하고 있는 것입니다. 즉,

이는 실제로 이를 잡아내는 감사(audit)를 가리킵니다. 더 많은 모니터링(monitoring)이 아니라, 바로 _실행(exercise)_입니다. 사용자에게 노출되는 모든 경로를 열거하고, 정해진 주기(cadence)에 따라 각 경로로 실제 트랜잭션(transaction)을 하나씩 실행하며, "아무것도 완료되지 않은 채 종료됨"이라는 시그니처(signature)가 발생할 때 알람을 울리는 것입니다. 저희의 도구는 약 60줄 정도이며 단 하나의 명령어로 실행됩니다. 이는 저희가 운영하는 도구 중 가장 정교하지 않지만, 정교한 도구들이 놓친 것들을 잡아냈습니다. 왜냐하면 이 도구는 이 손실 클래스(loss class)가 스스로를 드러내는 유일한 표면, 즉 시스템이 주장하는 바와 실제로 수행하는 바 사이의 차이를 검사하기 때문입니다.

강제 함수 (The forcing function)

역사적 반복에 대한 솔직한 버전은 다음과 같습니다. 사이버 침묵(Silent cyber)이 가격에 반영되지 않았던 것은 업계가 이를 예측했기 때문이 아닙니다. 그것은 약 15년 동안 카테고리의 공백으로 남아 있었으며, NotPetya(2017)가 이를 수십억 달러 규모의 청구서로 바꾸기 전까지(Merck의 재산 청구액만 약 14억 달러에 달했습니다) 지속되었습니다. 이에 Lloyd's는 모든 보험 증권이 사이버 위험을 명시적으로 승인(affirm)하거나 제외(exclude)하도록 강제하며 대응했습니다. 여기서 교훈은 선견지명이 아닙니다. 교훈은 무언가가 그것을 _명시된 결정(named decision)_으로 전환할 때 침묵이 끝난다는 것입니다.

AI 에이전트 버전의 NotPetya가 로컬에서 그러한 전환을 일으킬 때까지 기다릴 필요는 없습니다. "승인 또는 제외(affirm-or-exclude)" 원칙은 배포 규모(deployment scale)에서도 작동하며, 이는 다음 8가지 질문으로 구성됩니다. 에이전트 목록과 각 에이전트가 무엇을 할 수 있도록 권한을 부여받았는지 인벤토리(inventory)를 보유하고 있는가? 권한이 범위가 지정되어 검토되는가, 아니면 점진적으로 축적되는가? 되돌릴 수 없는 작업(irreversible actions)에 게이트(gate)가 설정되어 있는가? 제3자가 재구성할 수 있는 감사 추적(audit trail)이 있는가? 조용히 중단된 작업 경로를 감지할 수 있는가? 킬 스위치(kill switch)가 있으며, 이를 실제로 실행해 보았는가? 모델 공급업체가 잘못된 주간(bad week)을 보낼 경우 당신의 노출(exposure)은 어느 정도인가? 그리고 에이전트당 명시된 인간 소유자(human owner), 즉 문제를 인지할 수 있는 사람이 있는가?

모든 질문은 동일한 목적을 가집니다. 즉, 침묵하는 노출(silent exposure)을 명시적이고 소유권이 있는 결정으로 전환하여, 눈을 뜨고 확인하거나 의도적으로 제외하는 것입니다. 이것이 보험 시장이 외부로부터 업계에 서서히 요구하기 시작한 것입니다. 운영자들은 이것이 아직 비용이 저렴할 때, 내부에서부터 먼저 공급하기 시작할 수 있습니다.

우리는 이곳 내부에서 보는 관점이 더 낫다고 말하겠지만, 바로 그것이 핵심입니다. 내부에서는 무엇을 볼 수 있는 것이 거의 없는지를 정확히 파악할 수 있으며, 그에 맞춰 구축할 수 있습니다.

출처