에이전틱 성숙도 모델(Agentic Maturity Model)에는 축 하나가 빠져 있다: 그 주장은 누가 검증했는가
요약
OWASP의 에이전틱 AI 성숙도 모델이 배포와 거버넌스라는 두 축에만 집중하여 '검증(verification)'의 문제를 간과하고 있다고 비판합니다. 조직의 주장이 실제 통제력을 갖추려면 독립적인 증거 기반의 검증 축이 추가되어야 함을 강조합니다.
핵심 포인트
- OWASP의 성숙도 모델은 배포와 거버넌스라는 이축 구조를 가짐
- 기존 모델은 조직이 무엇을 하는지는 측정하나 검증 주체는 누락함
- 자기 인증과 독립적 검증의 차이는 보안 및 규제 대응의 핵심임
- EU AI Act 등 규제 대응을 위해 '증거 유형' 축이 필수적임
6월 3일, OWASP GenAI Security Project는 _State of Agentic AI Security and Governance 2.0_을 발표했으며, 이와 함께 두 가지 요소를 동시에 등급화하는 기업 도입 성숙도 모델(Enterprise Adoption Maturity Model)을 공개했습니다.
한 축은 배포(deployment)를 측정합니다: AT0 Shadow AI부터, 직접 구축하여 정체성, 도구 및 경계를 제어하는 AT5 커스텀 사내 에이전트(custom in-house agents)까지를 포함합니다. 다른 축은 거버넌스 성숙도(governance maturity)를 측정합니다: Level 0 임시 방편(ad hoc)부터, 에이전트를 거버넌스 코드화(governance-as-code), 킬 스위치(kill switches), 실시간 드리프트 대시보드(real-time drift dashboards)를 갖춘 핵심 인프라로 취급하는 Level 3까지를 포함합니다.
이는 이 분야에서 발표된 가장 명확한 이축(two-axis) 구조입니다. 하지만 이는 이전의 모든 성숙도 모델이 가진 사각지대와 동일한 문제를 공유하고 있습니다.
두 축 모두 조직이 무엇을 '하는지(does)'를 설명합니다. 하지만 조직이 그것을 실제로 하고 있는지 '누가 검증했는지(verified)'는 어느 쪽도 포착하지 못합니다.
두 조직, 동일한 셀, 서로 다른 진실
둘 다 스스로를 거버넌스 Level 3라고 분류하는 두 조직을 가정해 봅시다. 두 조직 모두 거버넌스 코드화(governance-as-code)를 주장합니다. 둘 다 킬 스위치(kill switches)가 있다고 주장합니다. 둘 다 지속적인 드리프트 모니터링(continuous drift monitoring)을 주장합니다.
한 조직은 내부 레드팀(red-team)의 자기 인증(self-attestation)을 통해 그 단계에 도달했습니다. 다른 조직은 공개되고 재현 가능한 증거 기반을 갖춘 독립적인 적대적 평가(independent adversarial assessment)를 통해 그 단계에 도달했습니다. 매트릭스 상에서 두 조직은 동일한 셀(cell)을 점유합니다. 하지만 조달 검토(procurement review) 시, 사고 사후 분석(incident post-mortem) 시, 또는 규제 기관 앞에서는 이들이 동일한 산출물(artifact)이 아닙니다.
조직이 무엇을 하는지는 측정하지만, 누가 그것을 검증했는지는 측정하지 않는 성숙도 모델은 통제(control)가 아닌 주장(claim)에 등급을 매기는 것입니다.
확립된 보증(assurance) 체계에 이미 존재하는 패턴
이것은 새로운 요구가 아닙니다. 보증(Assurance) 관행은 수십 년 동안 자기 인증(self-attestation)과 독립적 검증(independent validation)을 분리해 왔습니다. SOC 2 Type I 보고서는 설계된 대로의 통제(controls)를 설명하며, Type II 보고서는 그것이 시간이 지남에 따라 제대로 작동했는지를 테스트합니다. 벤더 보안 설문지(vendor security questionnaire)와 제3자 침투 테스트(third-party penetration test)는 서로 다른 질문에 답하며, 성숙한 구매자라면 이 둘을 상호 교환 가능한 것으로 취급하지 않습니다.
에이전틱 거버넌스 (Agentic governance)는 아직 그러한 구분을 도입하지 않았습니다. EU AI Act의 고위험 (high-risk) 의무 사항은 2026년 8월에 발효되며, 이는 주장된 감독 (asserted oversight)이 아닌 입증 가능한 감독 (demonstrable oversight)을 핵심으로 합니다. 성숙도 모델에는 규제가 곧 요구하게 될 세 번째 축, 즉 증거 유형 (evidence type)이 필요합니다.
세 번째 축의 모습
증거 유형은 모든 거버넌스 주장 (governance claim)에 대해 한 가지 질문을 던집니다: 어떤 종류의 증거가 이를 뒷받침하며, 그 주장이 해당 증거가 허용하는 범위보다 더 강력하지는 않은가?
이러한 패턴은 규율 잡힌 평가 작업에서 존재합니다. 예를 들어, 에이전트 결제 인프라에 대한 공개된 agent-security-harness VS-R01 평가에서는 모든 조사 결과에 증거 클래스 (evidence class)가 태그로 지정되어 있습니다:
- E1 — 정적 또는 문서 기반 관찰 (static or documentation observation)
- E2 — 승인 시점의 런타임 관찰 (admission-time runtime observation) (결제 전, 입력 게이트에서의 API 응답)
- E3 — 결제 시점의 런타임 관찰 (settlement-time runtime observation)
- E4 — 적대적 재생 및 지속성 검증 완료 (adversarial replay and persistence validated)
- E5 — 음성 및 양성 대조군 모두에 대한 교차 컨텍스트 격리 확인 (cross-context isolation confirmed against both negative and positive controls)
각 클래스는 허용되는 최대 주장 강도 (claim strength)에 매핑됩니다. E2 관찰은 API가 조작된 입력을 어떻게 수락하거나 거부하는지를 설명할 수는 있지만, 플랫폼이 제한을 '강제 (enforces)'한다고 주장할 수는 없습니다. 왜냐하면 강제는 결제 시점의 속성이며 결제 단계는 측정되지 않았기 때문입니다. 에이전트 보안 보고서에서 가장 흔히 발생하는 실패 유형인 '승인 증거를 바탕으로 강제 사항을 주장하는 것'은 운영 환경이 아닌 검토 단계에서 가시화됩니다.
이것이 구체화된 세 번째 축입니다. 이는 자신만의 테스트 등록을 가진 검토자라면 누구나 공개된 브랜치 상태로부터 재현할 수 있으며, 이것이 바로 증거 (evidence)와 주장 (assertion)을 구분 짓는 속성입니다.
셀(Cell)이 자격 증명(Credential)은 아니다
OWASP 모델은 실질적인 진전이며, 이를 배치하기에 적절한 위치입니다. 채택 (Adoption)은 조직이 에이전트에게 얼마나 많은 자율성 (autonomy)을 부여했는지를 알려줍니다. 거버넌스 성숙도 (Governance maturity)는 조직이 구축했다고 주장하는 통제력 (control)이 어느 정도인지를 알려줍니다. 증거 유형 (Evidence type)은 조직 외부의 누군가가 이를 확인할 수 있는지 여부를 알려줍니다.
자격 증명(Credentials)을 보유하고, 자금을 이동시키며, 신뢰할 수 없는 입력값(Untrusted input)에 따라 행동하는 에이전트의 경우, 세 번째 질문이 규제 기관(Regulator)의 검증을 견뎌낼 수 있는 핵심입니다. 주장(Claim)이 아닌 증거(Evidence)를 등급화하십시오.
출처
AI 자동 생성 콘텐츠
본 콘텐츠는 Dev.to AI tag의 원문을 AI가 자동으로 요약·번역·분석한 것입니다. 원 저작권은 원저작자에게 있으며, 정확한 내용은 반드시 원문을 확인해 주세요.
원문 바로가기