"Trust the Machine"의 4부 —> 설계 단계부터 안전하고, 컴플라이언스(Compliance)를 준수하며, 거버넌스(Governance)가 가능한 AI 인프라를 구축하는 시리즈입니다.

시리즈를 하나로 묶는 실타래

이전 포스트에서는 세 가지 엔지니어링 문제를 다루었습니다: 환경 내의 AI 시스템 가시화, 자율 에이전트(Autonomous agents) 격리, 그리고 그 아래에 있는 데이터 거버넌스(Data governance)입니다. 이 마지막 포스트에서는 이들을 하나로 묶고, 점점 더 이들을 강제하고 있는 규율인 규제 컴플라이언스(Regulatory compliance)를 다룹니다.

현재 세 가지 프레임워크가 논의를 주도하고 있습니다: 유럽 연합(EU)의 AI Act, 미국 국립표준기술연구소(NIST)의 AI 리스크 관리 프레임워크(AI Risk Management Framework, NIST AI RMF), 그리고 국제 표준인 ISO/IEC 42001입니다. 이들은 강제성과 세부 사항 면에서 차이가 있지만, 단 하나의 기대치로 수렴합니다: AI 시스템은 반드시 **문서화(Documented), 테스트(Tested), 그리고 감사 가능(Auditable)**해야 한다는 것입니다. 이 기대치로 인해 어려움을 겪는 조직은 컴플라이언스를 사후에 수행하는 문서화 작업으로 취급하는 조직들입니다. 이 기대치를 충족하는 조직은 컴플라이언스를 사후에 조립된 설명이 아니라, 시스템이 구축되고 운영되는 방식의 결과물로서 파이프라인(Pipeline)의 속성으로 만드는 조직들입니다.

세 가지 프레임워크 요약

이 프레임워크들은 경쟁 관계라기보다 상호 보완적이며, 조직은 일반적으로 하나 이상의 프레임워크를 적용하게 됩니다.

EU AI Act

역외 적용 범위(Extraterritorial reach)를 가진 구속력 있는 법률입니다. 조직의 소재지와 관계없이 EU 시장에 AI 시스템을 출시하거나, 해당 시스템이 EU 내의 사람들에게 영향을 미치는 조직에 적용됩니다. 이 법은 시스템을 위험도(금지된 위험, 고위험, 제한적 위험, 최소 위험)에 따라 분류하고, 해당 분류에 비례하는 의무를 부과합니다. 고위험(High-risk) 시스템은 리스크 관리, 데이터 거버넌스(Data governance), 기술 문서화, 로깅(Logging), 인간의 감독(Human oversight), 투명성, 그리고 정확성 및 견고성(Robustness)과 같은 가장 실질적인 요구 사항을 수반합니다. 이러한 의무 사항들은 2026년과 2027년에 걸쳐 단계적으로 도입될 예정이므로, 현재의 준비는 미래의 문제가 아닌 실질적인 필수 사항입니다.

NIST AI RMF

규제라기보다는 자발적인 프레임워크입니다. AI 리스크 관리(AI risk management)를 네 가지 기능(Govern, Map, Measure, Manage)으로 조직하며, AI 리스크를 식별하고 완화하기 위한 구조화되고 널리 채택된 어휘를 제공합니다. 이는 다른 규제 체제 하에서 컴플라이언스(Compliance) 노력을 구조화하는 운영상의 중추(backbone)로 자주 사용됩니다.

ISO/IEC 42001

정보 보안을 위한 ISO 27001과 유사한, AI 경영 시스템(AI management system)을 위한 인증 가능한 국제 표준입니다. 조직이 AI의 생애주기 전반에 걸쳐 어떻게 AI를 거버넌스(govern)해야 하는지를 명시하며, 외부 당사자에게 해당 거버넌스를 입증할 수 있는 감사 가능한(auditable) 근거를 제공합니다.

이들의 상호 관계

이들 사이의 실질적인 관계는 명확합니다. ISO/IEC 42001과 NIST AI RMF는 조직이 EU AI Act의 구체적인 법적 의무를 충족하는 데 도움이 되는 경영 시스템과 리스크 어휘를 제공합니다. 전자를 구현하는 것은 후자에 대한 준비를 실질적으로 진전시킵니다.

변화: 문서화에서 엔지니어링 속성으로

일반적인 실패 모드는 프레임워크를 읽고, 일련의 정책 문서들을 작성한 뒤, 이를 파일로 보관하는 것입니다. 이러한 접근 방식은 유지 관리 비용이 많이 들고, 빠르게 현실과 괴리되며, 진정한 보증을 거의 제공하지 못합니다. 대안은 대부분의 프레임워크 의무 사항이 포스트 1부터 3까지의 통제 항목(controls)이 이미 만들어내는 결과물을 설명하고 있다는 점을 인식하는 것입니다. 그러면 컴플라이언스는 기존의 엔지니어링 통제 항목을 그것이 충족하는 요구 사항과 연결하고, 정상적인 운영의 부산물로서 증거를 생성하는 문제가 됩니다.

다음 매핑(mapping)이 이 점을 설명합니다.

이러한 방식으로 읽는다면, 컴플라이언스는 훌륭한 엔지니어링 위에 추가되는 작업이 아닙니다. 그것은 상당 부분 훌륭한 엔지니어링이 이미 생성하고 있는 문서화와 증거 그 자체입니다.

컴플라이언스 게이트로서의 평가

프레임워크(Frameworks)는 AI 시스템이 정확성(accuracy), 강건성(robustness), 그리고 (고위험 시스템의 경우) 안전성(safety) 및 보안(security) 속성에 대해 테스트될 것을 요구합니다. 전통적인 소프트웨어에서는 이와 동일한 요구사항이 지속적 통합(continuous integration)에서 실행되는 테스트를 통해 충족됩니다. AI에서도 동일한 메커니즘이 적용되며, 여기서 평가는 테스트의 역할을 수행합니다.

• 파이프라인 내에서 평가 실행. 정확성, 안전성, 강건성 및 보안 평가는 모델과 프롬프트의 변경 시 자동으로 실행되어야 하며, 결과가 정의된 임계값(thresholds) 미만으로 저하될 경우 배포를 차단해야 합니다. 이를 통해 컴플라이언스 요구사항을 강제된 엔지니어링 게이트(engineering gate)로 전환할 수 있습니다.
• 적대적 공격 및 레드팀(red-team) 평가 포함. 신뢰할 수 없는 입력에 노출되거나 중대한 결과(consequential action)를 초래할 수 있는 시스템의 경우, 평가는 프롬프트 인젝션(prompt injection), 탈옥(jailbreaks), 그리고 포스트 2에서 설명한 실패 모드인 오용(misuse)에 대한 테스트를 포함해야 합니다.
• 증거로서 결과 보존. 모든 평가 실행은 시스템이 테스트되었고 임계값을 충족했다는 것을 보여주는 날짜와 버전이 기록된 기록물입니다. 이러한 기록을 체계적으로 보존하면 프레임워크가 요구하는 증거의 상당 부분을 구성하게 됩니다.

평가를 배포 게이트(deployment gate)로 취급하면 테스트 의무를 충족하는 동시에 시스템을 개선할 수 있으며, 컴플라이언스 동기를 엔지니어링 동기와 일치시킬 수 있습니다.

감사 로깅(Audit logging) 및 증거

감사 가능성(Auditability)은 세 가지 프레임워크 모두에서 반복되는 요구사항이며, 이미 구축된 통제 수단(controls)을 통해 직접적으로 충족됩니다. 에이전트를 포함하는 작업별 로깅(Post 2)과 데이터를 관리하는 계보(lineage, Post 3)가 결합되어 컴플라이언스가 요구하는 감사 추적(audit trail)을 생성합니다. 핵심적인 관행은 로그가 중대한 결정을 재구성할 수 있을 만큼 충분히 포괄적이고, 변조 방지(tamper-resistant)가 가능하며, 요구되는 기간 동안 보존되도록 보장하는 것입니다.

첫 번째 포스트에서 소개된 AI-BOM은 핵심적인 증거 산출물 (evidence artifact)이 됩니다. 이는 평가 결과 및 감사 로그 (audit logs)와 결합되어, 마감 기한에 맞춰 재구성하는 것이 아니라 지속적이고 자동적으로 수집되는, 프레임워크가 요구하는 기술 문서 (technical documentation)를 구성합니다.

지속적인 컴플라이언스 (Continuous compliance)

AI 시스템은 드리프트 (drift)합니다. 모델이 업데이트되고, 프롬프트 (prompt)가 수정되며, 데이터 소스가 변경되고, 기능이 확장됩니다. 특정 시점의 인증은 시스템의 '현재' 모습이 아닌 '과거'의 모습을 포착할 뿐입니다. 따라서 컴플라이언스는 주기적인 것이 아니라 지속적이어야 합니다.

• 변경 시 재평가 트리거 (Trigger re-evaluation on change). 모델 업데이트, 프롬프트 수정 또는 새로운 기능의 추가는 관련 평가를 자동으로 재실행하고 관련 증거를 갱신해야 합니다. 이는 첫 번째 포스트에서 소개된 드리프트 모니터링 (drift monitoring)의 적용입니다.
• 인벤토리 (inventory) 및 AI-BOM 최신 상태 유지. 인벤토리는 컴플라이언스 구조의 토대이므로, 인벤토리의 정확성이 모든 후속 주장 (downstream claim)의 정확성을 직접적으로 결정합니다.
• 중대한 변경 시 리스크 계층 (risk tier) 재평가. 시스템의 데이터 민감도, 자율성 또는 의사결정 영향력을 변화시키는 변경은 규제 분류 및 그에 따른 의무 사항을 변경할 수 있습니다.

AI 신뢰 제어 평면 (The AI trust control plane)

네 개의 포스트를 통해 하나의 단일한 구조가 나타났습니다. 가시성 (visibility), 에이전트 격리 (agent containment), 데이터 거버넌스 (data governance), 그리고 컴플라이언스 (compliance)는 네 개의 별개 이니셔티브가 아니라, 하나의 역량인 'AI 신뢰 제어 평면 (AI trust control plane)'을 구성하는 네 개의 계층입니다.

• 가시성 확보 (See it) — 지속적인 인벤토리와 AI-BOM을 통해 무엇이 존재하는지 확립합니다 (포스트 1).
• 보안 확보 (Secure it) — 신원 (identity), 최소 권한 (least privilege), 그리고 중개되고 제한되며 기록되는 동작 (brokered, bounded, logged actions)을 통해 어떤 동작이 일어나는지 격리합니다 (포스트 2).
• 데이터 거버넌스 (Govern the data) — 출처 (provenance)와 계보 (lineage)를 통해 시스템이 무엇으로부터 학습하는지 설명합니다 (포스트 3).
• 증명 (Prove it) — 평가, 로깅 (logging), 그리고 증거를 통해 전체 시스템이 의무 사항을 준수하고 있음을 입증합니다 (포스트 4).

각 계층은 보안, 컴플라이언스 (compliance), 그리고 거버넌스 (governance)를 동시에 충족합니다. 왜냐하면 이 세 가지는 결코 별개의 세 가지 문제가 아니기 때문입니다. 이들은 하나의 역량에 대한 세 가지 관점입니다. 즉, AI 시스템이 데이터와 동작 (actions)을 통해 무엇을 하는지 파악하고 제어하는 역량입니다. 이러한 역량을 인프라에 구축한 조직은 빠른 속도로 움직이는 것과 의무 사항을 준수하는 것 사이에서 선택할 필요가 없습니다. 인프라가 설계 단계부터(by construction) 이를 충족하기 때문입니다.

컴플라이언스 체크리스트

• 각 시스템에 대해 적용 가능한 프레임워크 (EU AI Act, NIST AI RMF, ISO/IEC 42001) 및 그에 따른 의무 사항을 식별합니다.
• 각 의무 사항은 독립적인 정책 문서가 아니라, 구체적인 엔지니어링 제어 (engineering control) 항목에 매핑됩니다.
• 평가는 파이프라인 게이트 (pipeline gates)로서 실행되어, 회귀 (regression) 발생 시 배포를 차단하며, 노출된 시스템에 대해서는 적대적 테스트 (adversarial tests)를 포함합니다.
• 감사 로그 (audit logs)는 포괄적이고 변조 방지 (tamper-resistant) 기능이 있어야 하며, 요구되는 기간 동안 보관되어야 합니다.
• AI-BOM, 평가 결과, 그리고 로그는 함께 기술 문서 증거 기반 (technical-documentation evidence base)을 형성합니다.
• 컴플라이언스는 지속적입니다: 변경 사항이 발생하면 재평가, 증거 갱신, 그리고 리스크 등급 재평가가 트리거됩니다.
• 증거는 요청 시 재구성하는 것이 아니라, 운영의 부산물로서 자동으로 생성됩니다.

시리즈를 마치며

"Trust the Machine"은 단순한 주장으로 시작되었습니다. AI를 위한 보안, 컴플라이언스, 그리고 거버넌스는 세 개의 백로그 (backlogs)가 아니라, AI 시스템이 데이터와 동작을 통해 무엇을 하는지 파악하고 제어하는 단일 역량에 대한 세 가지 관점이라는 점입니다. 각 포스트는 그 역량의 한 계층을 구축했으며, 각 계층은 세 가지 분야 모두에서 동시에 결실을 보았습니다.

앞으로 몇 년 동안 자신 있게 AI를 운영할 조직은 가장 엄격한 정책을 가진 조직이나 가장 큰 컴플라이언스 팀을 가진 조직이 아닙니다. 그들은 신뢰를 인프라 자체에 구축한 조직입니다. 따라서 관찰하고, 보안을 유지하고, 거버넌스를 수행하며, 입증하는 것이 업무와 병행하여 수행되는 작업이 아니라, 업무가 수행되는 방식 그 자체의 속성 (properties)이 된 조직입니다.