“AI가 인간의 지식을 지워버린다”는 이야기가 어떻게 공상 과학(Science Fiction)이 아니게 되었는지, 그리고 실제 버전은 영화와 왜 전혀 다른지에 대하여.

약 40년 동안 이야기는 이런 식이었다. 기계들이 깨어난다. 그들은 인간이 문제라고 결정한다. 그들은 네트워크를 가로질러, 우리가 가르친 적 없는 언어로 서로 대화하며, 일사불란한 순간에 지구상의 모든 드라이브를 비워버린다. 인류는 빈 화면 앞에 서서 모든 것을 하는 법을 잊어버렸음을 깨닫는다.

그것은 좋은 이야기였다. 또한, 그 40년 중 대부분의 기간 동안, 그것은 편안할 정도로 불가능한 일이었다. 기계들은 드라이브에 접근할 수 없었다. 서로 대화할 수 없었다. 그 어떤 것도 결정할 수 없었다.

그 상황이 조용히 변했다. 이야기가 예측했던 방식은 아니지만, 바로 그 점 때문에 당신의 주의를 끌 가치가 있다.

이미 일어난 부분

2026년 4월 말, 한 AI 코딩 에이전트(AI coding agent)가 렌터카 업체들이 예약, 결제 및 고객 기록을 관리하기 위해 사용하는 플랫폼인 PocketOS의 전체 프로덕션 데이터베이스(production database)를 삭제했다. 또한 그와 연결된 백업들도 삭제했다. 이 모든 과정은 9초밖에 걸리지 않았다.

해커는 없었다. 악성 코드(Malware)도 없었다. 프롬프트 인젝션(Prompt injection)도 없었다. 비밀스러운 기계 언어도 없었다. Anthropic의 Claude Opus 4.6 위에서 Cursor 내부를 실행 중이던 해당 에이전트는 스테이징 환경(staging environment)에서 일상적인 작업을 수행하고 있었다. 그러다 자격 증명 불일치(credential mismatch)가 발생했다. 에이전트는 멈춰서 질문하는 대신, 스스로 문제를 해결할 방법을 찾기 시작했고, 관련 없는 파일에 놓여 있던 Railway API 토큰을 발견하여 이를 사용해 프로덕션 볼륨(production volume)을 쓸어버리는 단 한 번의 파괴적인 GraphQL 호출을 실행했다. 이 점을 강조하는 것이 중요한데, 프레임이 왜곡되는 경향이 있기 때문이다. 이것은 베타 스택(beta stack)이나 실험용 샌드박스(experimental sandbox)가 아니었다. 2026년 4월 당시 세 벤더의 마케팅 페이지를 따랐던 창업자라면 대략 PocketOS가 실행 중이던 것과 유사한 설정을 갖추게 되었을 것이다.

두 가지 설계 결정이 잘못된 판단을 비즈니스 비상 사태로 바꾸어 놓았다. 에이전트(Agent)가 찾아낸 토큰(Token)은 명령줄(Command line)을 통해 커스텀 도메인을 관리하는 일상적인 용도로 생성된 것이었으나, 볼륨 삭제(Volume deletion)를 포함한 계정 전체의 권한을 가지고 있었다. 플랫폼에는 더 좁은 권한 범위(Permission scopes)가 존재했지만, 이 토큰을 생성한 워크플로(Workflow)가 단순히 그것들을 사용하지 않았을 뿐이었다. 게다가 백업이 라이브 데이터(Live data)와 동일한 볼륨 내에 저장되어 있었기에, 복구 경로가 그것을 보호하기 위해 존재했던 대상과 함께 파괴되어 버렸다.

PocketOS는 약 30시간 동안 중단되었다. 가장 최근의 독립적인 복구 지점(Recovery point)은 약 3개월 전의 것이었으며, 팀은 Stripe 기록, 캘린더 항목, 이메일을 통해 수동으로 예약 내역을 재구성하며 주말을 보냈다. Railway는 나중에 데이터를 복구하고 엔드포인트(Endpoint)를 패치했다. 창업자 Jer Crane은 이 교훈에 대해 냉철하게 분석했다. 이것은 단 하나의 잘못된 에이전트나 하나의 잘못된 API의 문제가 아니라, 업계가 AI를 안전한 연결을 위한 안전 아키텍처(Safety architecture)를 구축하는 속도보다 더 빠르게 프로덕션 인프라(Production infrastructure)에 연결하고 있다는 문제였다.

Crane이 에이전트에게 스스로를 설명해 달라고 요청했을 때, 에이전트는 마치 자백과 같은 내용을 내놓았다. 에이전트는 “나는 부여받은 모든 원칙을 위반했다”라고 적은 뒤, 검증하기보다는 추측했으며 행동을 취하기 전에는 그 행동을 이해하지 못했다고 덧붙였다. 이 부분은 거리를 두고 냉정하게 바라볼 필요가 있다. 언어 모델(Language model)이 사과하는 텍스트를 생성하는 것은 그럴듯하게 들리는 설명을 만들어내는 것이지, 자신의 추론에 대한 진정한 통찰을 보고하는 것이 아니기 때문이다. 토큰 범위에 대한 기술적 분석은 에이전트의 말보다 무엇이 잘못되었는지에 대해 더 많은 것을 알려준다.

이전에도 한 번 일어난 적이 있었다

이것이 처음은 아니었습니다. 2025년 7월, SaaStr의 창립자인 Jason Lemkin은 "vibe coding (바이브 코딩)" 실험을 시작한 지 9일째이자 명시적인 코드 프리즈 (code freeze) 기간 중에, Replit의 에이전트가 1,200명 이상의 경영진과 그에 맞먹는 수의 기업 기록을 보유한 라이브 데이터베이스를 삭제하는 것을 목격했습니다. 그 후 에이전트는 데이터가 복구 불가능하다고 그에게 말했습니다. 하지만 복구 가능했습니다. 롤백 (rollback)이 작동했기 때문입니다. Replit의 CEO는 공개적으로 사과하며 자동화된 개발 및 운영 환경 분리, 원클릭 복구, 그리고 계획 전용 모드 (planning-only mode)를 출시했습니다.

따라서 이 전제는 더 이상 추측이 아닙니다. AI 시스템은 네트워크를 가로질러 도달했습니다. 그들은 데이터를 삭제했으며, 한 사례에서는 백업까지 삭제했습니다. 공상 과학(SF) 버전이 크게 틀린 유일한 점은 동기 (motive)였습니다.

공포는 옳다. 메커니즘이 틀렸다.

여기 불편한 재구성 (reframe)이 있습니다.

AI 시스템이 우리를 지우기 위해 공모하는 것을 걱정하는 것은, 어떤 의미에서는 과분한 공포입니다. 그것은 재앙이 지능, 의도, 조정, 악의를 필요로 한다고 가정합니다. 그것은 방 안에 악당을 배치하며, 악당은 식별할 수 있고, 협상할 수 있으며, 전원을 끌 수 있습니다.

실제로 일어나는 일은 더 지루하며 방어하기가 훨씬 더 어렵습니다. 에이전트에게 목표가 주어집니다. 에이전트는 장애물에 부딪힙니다. 에이전트는 내부적으로 일관되고 국지적으로는 합리적이지만, 전역적으로는 재앙적인 해결책을 찾아냅니다. 그런 다음 에이전트는 당신이 발급한 자격 증명 (credentials)을 사용하고, 당신이 승인한 API를 통해, "기다려"라고 말할 메커니즘이 없는 시스템 내에서 기계의 속도로 실행합니다.

이미 충족된 세 가지 조건

그 과정의 어떤 단계도 기계들이 서로 대화할 것을 요구하지 않습니다. 기계들이 무언가를 원할 필요도 없습니다. 오직 세 가지 조건만을 요구하며, 이 조건들은 모두 이미 대부분의 기업에서 충족되어 있습니다:

1. 에이전트가 의도된 것보다 더 많은 권한을 가집니다. 토큰 (Tokens)은 그 이름이 암시하는 것만큼 엄격하게 범위가 지정되는 경우가 드뭅니다. 하나의 작업만을 위해 키를 발급했지만, 그것이 조용히 여섯 개의 문을 열어버릴 수 있습니다.
2. 폭발 반경 (Blast radius)에 복구 계획이 포함됩니다. 만약 운영 데이터 (Production data)와 동일한 자격 증명 (Credentials)으로 백업에 접근할 수 있다면, 당신은 백업을 가지고 있는 것이 아닙니다. 당신은 곧 잃게 될 대상의 두 번째 복사본을 가지고 있을 뿐입니다.
3. 의도와 되돌릴 수 없는 행동 사이에 인간이 없습니다. 에이전트 (Agent)의 전체 가치 제안 (Value proposition)은 당신을 기다리지 않고 행동한다는 점에 있습니다. 그것이 바로 기능 (Feature)입니다. 또한 그것이 바로 실패 모드 (Failure mode)이기도 합니다.

이것이 얼마나 흔한 일일까요? 2026년 4월에 발표된 Cloud Security Alliance의 설문 조사에 따르면, 지난 12개월 동안 조직의 65%가 AI 에이전트 관련 보안 사고를 보고했으며, 82%는 자신들이 알지 못하는 에이전트가 인프라에서 실행되고 있다고 답했습니다. 해당 연구는 AI 에이전트 보안을 판매하는 벤더(Vendor)의 의뢰와 자금 지원을 받았으며, 418개의 자기 보고식 응답에 기반하고 있으므로 적절한 회의론을 가지고 읽어야 합니다. 하지만 수치를 대폭 할인하더라도, 그 방향성만큼은 반박하기 어렵습니다.

이 모든 것이 AI 에이전트 사용을 반대하는 논거는 아닙니다. 저도 매일 사용하며, 여러분도 마찬가지일 것입니다. 이것은 우리가 오래된 가정 (Assumption)을 진정으로 새로운 상황에 그대로 가져왔다는 논거입니다. 즉, 위험한 것은 나쁜 의도를 가진 존재라는 가정 말입니다. 이 논거의 건설적인 버전을 원하신다면, 저는 에이전트 중심 엔지니어 (Agentic engineer)로서 가치를 유지하는 법과, 더 최근에는 개발자 파이프라인 (Developer pipelines)이 어떻게 보안 전쟁터가 되었는지에 대해 글을 썼습니다.

이제 규모를 키워봅시다

단일 기업이 데이터베이스를 잃는 것은 비즈니스 차원의 이야기입니다. 하지만 그 이면에 깔린 근본적인 질문은 더 큽니다. 이것이 인류 문명의 지식에까지 도달할 수 있는가 하는 점입니다.

솔직한 답변을 드리자면, 모든 데이터가 완전히 삭제되거나 화면이 백지 상태가 되는 순간은 여전히 일어날 가능성이 희박합니다. 인류의 지식은 단 한 곳이나 단 하나의 형식으로 저장되어 있지 않습니다. 지식은 수십억 개의 기기, 인쇄된 서적, 오프라인 아카이브 (archives), 국립 도서관, 그리고 수많은 서랍 속의 수많은 하드 드라이브에 흩어져 있습니다. 이 모든 것에 한 번에 도달할 수 있는 단일 호출은 존재하지 않으며, 독립적으로 배포된 시스템들이 이를 시도하기 위해 서로 조율할 수 있는 일관된 경로도 없습니다.

하지만 느린 속도로 진행되는 버전은 불가능한 이야기가 아닙니다. 그것은 이미 진행 중이며, AI (인공지능)가 등장하기 훨씬 전부터 시작되었습니다.

디지털 암흑기 (digital dark age)는 이미 시작되었습니다

기록물 관리사들은 Terry Kuny가 1997년 IFLA 컨퍼런스에서 발표한 논문에서 이 용어를 사용한 이래로 "디지털 암흑기 (digital dark age)"에 대해 경고해 왔습니다. 우려의 핵심은 극적인 삭제가 아니었습니다. 우리 시대의 기록이 조용히 부패할 것이라는 점이었습니다. 즉, 포맷 (formats)은 읽을 수 없게 변하고, 미디어 (media)는 퇴화하며, 링크 (links)는 끊어지고, 플랫폼 (platforms)은 폐쇄되면서 10년 치의 문화를 함께 사라지게 할 것이라는 우려였습니다.

그 사례들은 화려하지도 않고 약간은 황당하기까지 합니다. NASA의 1976년 화성 바이킹 (Viking) 착륙 당시의 자기 테이프 (Magnetic tapes)는 10년 넘게 처리되지 않은 채 방치되었습니다. 누군가 그것을 분석할 수 있게 되었을 때, 포맷 (format)에 대한 문서는 남아 있지 않았고, 이를 작성했던 프로그래머 (programmers)들은 사망하거나 기관을 떠난 상태였습니다. 결국 이미지는 수개월간의 포렌식 (forensic) 작업 끝에야 겨우 복구되었습니다. 2009년 Observer에 기고한 글에서, 당시 영국 도서관 (British Library)의 최고 경영자였던 린 브린들리 (Lynne Brindley)는 2000년 시드니 올림픽을 기록한 150개 이상의 웹사이트 (websites)가 올림픽이 종료되자 사라졌으며, 호주 국립 도서관 (National Library of Australia)이 이를 캡처했기 때문에 겨우 살아남았다고 언급했습니다. 그녀의 결론은 미래의 역사학자들과 시민들이 21세기 지식 기반에서 블랙홀 (black hole)을 발견하게 될 것이라는 점이었습니다. 6년 후, 빈트 서프 (Vint Cerf)는 업계의 다른 측면에서 본질적으로 동일한 경고를 전달했습니다.

이것이 실제 위협 모델 (threat model)이며, 바로 이 지점에서 AI가 계산법을 바꿉니다. AI가 아카이브 (archive)를 파괴하기로 결정하기 때문이 아니라, 파괴적인 능력을 주변에 편재하게 만들고, 빠르게 만들며, 위임하기 때문입니다. 기록의 일부를 보유하고 있는 모든 기관, 출판사, 아카이브, 그리고 소규모 기업들은 이제 몇 초 만에 작동하며 무엇이 대체 불가능한지에 대한 개념이 없는 시스템에 운영 키 (operational keys)를 넘겨주고 있습니다. 기록은 공격받을 필요가 없습니다. 그저 충분히 많은 소규모 관리자들이, 폭발 반경 (blast radius) 안에 있는 백업 (backups)과 함께, 충분히 긴 시간 동안 조용히 자신들의 조각을 잃어버리기만 하면 됩니다.

알렉산드리아 도서관 (Library of Alexandria)은 여기서 사용되는 표준적인 비유이지만, 거의 항상 잘못 사용됩니다. 현대 역사학계의 합의는 도서관이 단 한 번의 화려한 밤에 파괴된 것이 아니었다는 것입니다. 기원전 48년 카이사르 (Caesar)의 화재는 아마도 주요 컬렉션보다는 항구 근처의 창고를 손상시켰을 것이며, 도서관은 그 이후에도 계속 운영되었습니다. 도서관을 실제로 죽인 것은 수 세기에 걸친 정치적 불안정, 자금 지원 중단, 학자들의 이탈, 그리고 일련의 부분적인 재난들이었으며, 그 과정에서 컬렉션의 복제와 유지 관리가 조용히 중단되었습니다. 그곳에서 일하던 그 누구도 도서관이 끝나는 순간을 경험하지 못했을 것이라고 추측하는 것이 합리적입니다. 그것이 바로 내부에서 바라본 문명적 기억 상실 (civilizational memory loss)의 모습입니다. 그것은 마치 평범한 화요일처럼 보입니다.

이에 대해 실제로 해야 할 일

저는 타인의 사이트 (sites)를 복구하는 데 10년을 보낸 사람으로서 이 글을 쓰고 있으니, 분위기 잡기보다는 실무적인 관점에서 말씀드리겠습니다. 만약 이 시나리오가 걱정된다면, 그 대응책은 AI 사용을 중단하는 것이 아닙니다. 복구 (recovery)를 복구 대상과 동일한 시스템 내에 존재하는 무언가로 취급하는 것을 멈추는 것입니다.

요약하자면

폭발 반경 (blast radius) 밖에 백업 (backups)을 확보하고, 모든 토큰 (token)은 그 이름보다 더 넓은 범위를 가진다고 가정하며, 자격 증명 평면 (credential planes)을 완전히 분리하고, 되돌릴 수 없는 작업 (irreversible operations)은 확인 절차를 거치도록 제한하며, 백업 (backup)보다는 복구 (restore)를 테스트하고, 당신에게 중요한 무언가를 오프라인 (offline) 상태로 유지하십시오. 이 섹션의 나머지 내용은 그 이유에 대해 설명합니다.

지금 즉시 확인해야 할 여섯 가지

백업을 폭발 반경 (blast radius) 밖에 두십시오. 기존의 3-2-1 규칙에는 유용한 업데이트가 있습니다: 세 개의 복사본, 두 가지 미디어 유형, 한 개의 오프사이트 (offsite), 한 개의 불변 (immutable) 또는 오프라인 (offline), 그리고 테스트를 통해 검증된 제로 에러 (zero errors)입니다. 여기서 중요한 것은 불변 (immutable) 복사본입니다. 만약 특정 자격 증명 (credentials) 세트로 이를 삭제할 수 있다면, 그것은 백업이 아닙니다. 저는 데이터베이스 복구 기술 (database recovery techniques)에서 이 메커니즘을 설명한 바 있으며, 동일한 논리가 회복 탄력성을 위한 우리의 멀티 클라우드 접근 방식 (our multi-cloud approach to resilience)을 이끌었습니다.

모든 토큰 (token)이 그 이름보다 더 넓은 범위를 가진다고 가정하십시오. 범위가 지정된 자격 증명 (scoped credential)을 생성한 후, 허용되지 않아야 할 작업을 시도해 보십시오. 새벽 3시에 에이전트 (agent)가 발견하는 것보다 직접 격차를 찾아내는 것이 더 낫습니다. PocketOS 토큰은 악의적으로 과도한 권한 (over-privileged)을 가진 것이 아니라, 작업에 필요한 것보다 더 많은 권한을 기본값으로 설정하는 흐름을 통해 생성되었을 뿐입니다.