AI가 실행할 수 있는 것을 규제하기: 제품 컴플라이언스(Product Compliance)에서 주권적 게이트키핑(Sovereign

수년 동안 우리는 AI 거버넌스(AI governance)를 소프트웨어 컴플라이언스(software compliance) 문제처럼 다루어 왔습니다. 우리는 저작권에 대해 논쟁하고, 환각(hallucination) 현상을 걱정하며, "모델 윤리(model ethics)"에 관한 방대한 핸드북을 작성했습니다.

하지만 AI가 **콘텐츠(content)**를 생성하는 단계에서 자율적인 **행위(conduct)**를 실행하는 단계로 진화하면서 무언가 변화가 일어났습니다. 우리가 모델에게 에이전시(agency)—루프를 생성하고, API를 오케스트레이션하며, 금융 망에 접근하고, 기계의 속도로 제로데이(zero-days)를 찾아내는 능력—를 부여한 순간, 정체성(identity)은 수동적인 사용자 프로필이 아니게 되었습니다. 그것은 휘발성 보안 경계(security boundary)가 되었습니다.

국가는 이를 주목했습니다. 우리는 느리게 움직이는 유럽의 교과서적 접근에서, 인프라 중심의 날카로운 주권적 게이트키핑(sovereign gatekeeping) 태세로 이동했습니다.

머신 경계(Machine Perimeter)의 진화적 궤적

• 2021 - 2024 | 리스크 계층 청사진 (EU AI Act 시대) 초기 공식적인 노력들은 AI를 소비재처럼 취급했습니다. 거버넌스는 모델을 정적인 리스크 버킷(Low, Medium, High, Prohibited)으로 분류하고 문서화를 요구하는 것을 의미했습니다. 이는 결정론적(deterministic) 소프트웨어의 세계를 위해 구축된 접근 방식이었으며, 동적이고 개방적인 에이전시(agency)에는 전혀 대응할 수 없었습니다.

• 2023년 10월 | 컴퓨팅 초크 포인트 (미국 행정명령 EO 14110) 규제 당국은 출시되지 않은 모델의 행동을 감사할 수 없다는 것을 깨닫고, 상류(upstream)인 물리적 인프라로 눈을 돌렸습니다. 원시 학습 컴퓨팅(raw training compute)의 기준을 10^26 FLOPS로 설정함으로써, 국가는 데이터 센터를 주요 거버넌스 초크 포인트(choke point)로 만들었습니다.

• 2025 | 에이전트적 전환 (도구에서 대리인으로) 패러다임이 깨졌습니다. 모델은 단순히 채팅을 하는 것이 아니라, 비인간 본인(Non-Human Principals, NHIs)으로서 행동하고 있었습니다. 에이전트적 워크플로우(agentic workflows)가 외부 환경을 변화시키기 시작하면서, 보안 실패는 단순한 오정보(misinformation)에서 정체성, 위임(delegation), 신뢰성 위기가 연쇄적으로 발생하는 문제로 변질되었습니다.

• 2026년 6월 2일 | 주권적 게이트키핑 (Sovereign Gatekeeping) (2026년 6월 2일 행정명령) "첨단 인공지능 혁신 및 보안 촉진"에 관한 행정명령(Executive Order) 서명. 국가는 공식적으로 부드러운 정렬 윤리(soft alignment ethics)에서 엄격한 사이버 방어(cyber-defense)로 전환하였으며, 기밀 벤치마킹(classified benchmarking), 출시 전 액세스 기간(pre-release access windows), 그리고 자율 에이전트(autonomous agent) 오용에 대한 직접적인 형사 책임(criminal liability)을 확립했습니다.

1단계: 제품 컴플라이언스(Product Compliance)의 환상

유럽 연합(EU)이 AI 법(AI Act) 초안을 작성하기 시작했을 때, 그 기저에 깔린 가정은 AI를 의료 기기나 자동차처럼 규제할 수 있다는 것이었습니다. 공장에서 테스트하고, 체크리스트에 따라 컴플라이언스(compliance)를 검증하고, CE 마크를 찍어서 출하하는 방식입니다.

이 모델은 다음과 같은 정적인 파이프라인(static pipeline)을 가정했습니다:

개발자가 모델 구축 -> 기업이 모델 배포 -> 사용자가 쿼리 입력 -> 모델이 텍스트 출력

하지만 자율적 에이전시(autonomous agency)는 이 파이프라인을 완전히 깨뜨립니다. 에이전트에게 거시적 목표("이 공급망을 최적화하라" 또는 "이 기업 네트워크를 패치하라")가 부여되고, 다단계 도구 사용(multi-step tool use)을 자율적으로 수행하도록 맡겨지면, 그것은 제품처럼 행동하는 것이 아닙니다. 그것은 **구조적 에이전시(structural agency)**를 가진 실체처럼 행동하는 것입니다. 출시 전 체크리스트만으로는 무한한 상태 공간(infinite state space)의 안전성을 검증할 수 없습니다.

2단계: 인프라 피벗(Infrastructure Pivot)

코드는 포착하기에 너무 일시적(ephemeral)이라는 사실을 깨달은 정부들은 방어 경계선을 "왼쪽으로(to the left)" 이동시켰습니다. 로직(logic)을 통제할 수 없다면, 하드웨어(iron)를 통제하는 것입니다. 이것이 2023년 말 백악관 행정명령의 핵심 논지였으며, 해당 명령은 비상 권한을 활용하여 컴퓨팅 클러스터(compute clusters)에 대한 보고 의무를 강제했습니다.

이는 일시적일지라도 우아한 해결책이었습니다. 첨단 컴퓨팅 능력을 농축 우라늄처럼 취급하는 것입니다. 만약 어떤 기업이 컴퓨팅 임계값(compute threshold)을 넘을 만큼 충분한 메가와트(megawatts)를 끌어다 쓴다면, 그들은 국가의 감독을 위해 문을 열어야만 합니다.

하지만 알고리즘 효율성(algorithmic efficiency)이 급증함에 따라, 컴퓨팅 프록시(compute proxy)는 저하되기 시작했습니다. 특화된 에이전트적 행동(agentic behavior)을 위해 미세 조정(fine-tuned)된 더 작은 오픈 웨이트(open-weight) 모델들이, 이전에는 거대한 클러스터(clusters)가 필요했던 공격적인 사이버 역량(offensive cyber-capabilities)을 보이기 시작한 것입니다. 병목 지점(choke point)은 모델이 어떻게 '태어났는지'에서 모델이 네트워크 경계(network perimeter)와 어떻게 '상호작용하는지'로 다시 한번 이동해야 했습니다.

3단계: 주권적 게이트키핑(Sovereign Gatekeeping)과 2026년 6월 2일의 현실

이는 우리를 현재의 지형으로 인도합니다. 2026년 6월 2일에 서명된 행정 명령(Executive Order)인 **"첨단 인공지능 혁신 및 보안 증진(Promoting Advanced Artificial Intelligence Innovation and Security)"**은 "소프트웨어 컴플라이언스(software compliance)"라는 환상을 완전히 버렸음을 의미합니다. 이 명령은 프런티어 AI(frontier AI)를 국가 기간 시설(critical infrastructure) 및 국가 안보에 심각한 영향을 미치는 이중 용도 자산(dual-use asset)으로 명시적으로 취급합니다.

이 명령은 추상적인 윤리적 프레임워크(ethical frameworks)를 폐기하고, 매우 구체적이고 구조적인 레버(architectural levers)를 설치합니다:

1. 기밀 사이버 벤치마크(The Classified Cyber-Benchmark)

대중에게 공개되어 조작 가능한(gameable) 벤치마크 대신, 이 명령은 NSA 및 CISA와 같은 기관들이 **기밀 벤치마킹 프로세스(classified benchmarking process)**를 유지하도록 지시합니다. 이 평가는 자율적 취약점 발견(autonomous vulnerability discovery), 자동 패치 생성(automated patch generation), 익스플로잇 합성(exploit synthesis)과 같은 시스템의 고급 사이버 역량을 구체적으로 조사합니다. 만약 시스템이 이 기밀 기준선을 넘어서면, 해당 시스템은 **"대상 프런티어 모델(covered frontier model)"**로 지정됩니다.

2. 30일 사전 출시 검증 기간(The 30-Day Pre-Release Vetting Window)

이러한 프런티어 영역에서 활동하는 개발자들을 위해, 이 명령은 자발적이지만 강력한 인센티브가 부여된 프레임워크를 도입합니다. 즉, 공개 출시 전 최대 30일 동안 연방 기관에 미출시된 웨이트(weights)에 대한 접근 권한을 부여하는 것입니다. 이를 통해 국가는 공격/방어 시뮬레이션을 실행하고, 새로 설립된 AI 사이버 보안 클리어하우스(AI Cybersecurity Clearinghouse)를 통해 모델을 사용하여 연방 시스템의 패치를 수행하며, 조기 접근을 위해 신뢰할 수 있는 파트너를 검증할 수 있습니다.

의무적인 라이선스(mandatory licensing)를 명시적으로 부인하고는 있지만, 중앙 집중식 연구소(centralized labs)에 전달되는 메시지는 명확합니다. '조기에 협력하라, 그렇지 않으면 타겟팅된 국가 안보 개입으로 인해 귀사의 배포 일정이 동결되는 위험을 감수해야 할 것이다.'

3. rogue agency(통제 불능의 대리인)에 대한 형법의 무기화

아마도 가장 시사하는 바가 큰 변화는 검찰총장(Attorney General)에게 컴퓨터 사기 및 남용법 (Computer Fraud and Abuse Act, CFAA) 및 신원 사기법과 같은 기존 법률에 따른 형사 집행을 우선시하도록 명시적인 지침을 내린 것입니다.

해당 명령은 **"데이터 또는 정보에 불법적으로 접근하기 위해 AI 에이전트 (AI agents)를 사용하는 행위"**를 명시적으로 겨냥하고 있습니다. 이를 통해 정부는 "자율성 방어 (autonomy defense)"를 차단하고 있습니다. 기업이나 개발자는 이제 에이전트의 예기치 않은 드리프트 (drift)나 프롬프트 주입 (prompt-injected)으로 인한 일탈이 자신들의 법적 책임을 면제해 준다고 주장할 수 없습니다. 만약 귀사의 구조적 에이전트 (structural agent)가 권한 없이 네트워크 경계를 침범한다면, 그 책임은 암호화 체인 (cryptographic chain)을 따라 인간 본인 (human principal)에게 곧바로 추적됩니다.

구조적 결론 (The Structural Bottom Line): 신원 (Identity)과 대리권 (agency)은 책임을 묻기 위해 의식을 필요로 하지 않습니다. 암호화 증명 (cryptographic attestation), 네트워크 접근 제어 (network access control), 그리고 엄격한 형사 책임의 교차점을 겨냥함으로써, 현대 국가는 자율 소프트웨어 주위에 단단한 경계선을 긋고 있습니다. 우리는 더 이상 AI가 생각할 수 있는지 묻지 않습니다. 우리는 AI가 무엇을 실행할 수 있는지를 규제하고 있습니다.