많은 기업용 AI 거버넌스 논의는 프레임워크(Frameworks)에서 시작됩니다.

프레임워크는 유용합니다. 조직이 원칙, 역할, 통제 및 책임(Accountability)을 정의하는 데 도움을 줍니다.

하지만 기업이 실제 워크플로(Workflows)에서 생성형 AI (Generative AI)를 사용하기 시작하면, 실질적인 거버넌스 문제는 종종 훨씬 더 구체적인 지점에서 나타납니다:

바로 AI 액세스 경로(AI access path)입니다.

이는 직원, 애플리케이션, 코파일럿(Copilot), 에이전트(Agent) 또는 API 워크플로가 AI 모델에 요청을 보내는 순간을 의미합니다.

그 시점에서 거버넌스는 운영(Operational) 단계가 됩니다.

실질적인 거버넌스 질문들

AI 요청이 모델에 도달하기 전에, 기업은 다음과 같은 몇 가지 구체적인 질문에 답해야 할 수도 있습니다:

• 누가 요청을 보내고 있는가?
• 어떤 비즈니스 유스케이스 (Use case)가 연관되어 있는가?
• 어떤 데이터가 전송되고 있는가?
• 어떤 AI 모델이 사용되고 있는가?
• 해당 모델이 이 유스케이스에 대해 승인되었는가?
• 민감한 데이터가 마스킹(Masked)되거나 차단되어야 하는가?
• 액세스 결정이 기록되었는가?
• 나중에 해당 활동을 검토할 수 있는가?
• AI 사용량과 토큰 비용을 사용자, 부서, 모델 및 유스케이스별로 설명할 수 있는가?

이 질문들은 단순히 정책(Policy)에 관한 질문이 아닙니다.

이것은 아키텍처 (Architecture)에 관한 질문입니다.

만약 기업이 액세스 경로에서 이 질문들에 답할 수 없다면, AI 거버넌스는 실제 시스템 동작과 너무 동떨어진 상태로 남을 수 있습니다.

액세스 경로가 중요한 이유

많은 조직이 이미 AI 정책을 보유하고 있습니다.

하지만 정책은 종종 실제 AI 상호작용 전후에 작성됩니다. 액세스 경로는 정책이 실행과 만나는 지점입니다.

예를 들어, 한 팀이 내부 생산성을 위해 생성형 AI 사용을 승인했을 수 있습니다. 하지만 조직은 여전히 다음 사항들을 파악해야 합니다:

• 고객 데이터가 프롬프트 (Prompts)에 포함되고 있는지 여부;
• 직원들이 승인된 모델 또는 승인되지 않은 모델을 사용하고 있는지 여부;
• 민감한 콘텐츠가 외부 서비스로 전송되고 있는지 여부;
• 서로 다른 부서가 매우 다른 방식으로 AI를 사용하고 있는지 여부;
• 사고나 검토가 발생했을 때 감사 증거 (Audit evidence)가 존재하는지 여부.

이것이 바로 AI 거버넌스가 단순한 문서, 위원회 또는 교육 프로그램으로만 취급되어서는 안 되는 이유입니다.

또한 기술적인 제어 지점 (Technical control point)이 필요합니다.

간단한 액세스 거버넌스 패턴

단순화된 기업용 AI 액세스 패턴은 다음과 같습니다:

직원 / 기업용 AI 앱 (Employees / Enterprise AI Apps)
        |
        v
...

거버넌스 계층 (Governance layer)이 모든 기업 시스템을 대체할 필요는 없습니다.

거버넌스의 역할은 AI 액세스 결정이 검사, 제어 및 기록될 수 있는 지점에 위치하는 것입니다.

높은 수준에서 이 계층은 다음과 같은 사항을 지원할 수 있습니다:

• 프롬프트 검사 (Prompt inspection);
• 민감 데이터 탐지 (Sensitive-data detection);
• 마스킹 (Masking) 또는 차단 결정;
• 승인된 모델 라우팅 (Approved-model routing);
• 정책 집행 (Policy enforcement);
• 감사 증거 (Audit evidence);
• 사용 가시성 (Usage visibility);
• 토큰 사용량 및 비용 가시성 (Token usage and cost visibility).

컨트롤 플레인(Control Plane)과 데이터 플레인(Data Plane)

기업 환경에서는 컨트롤 플레인 (Control Plane)과 데이터 플레인 (Data Plane)을 분리하는 것이 유용합니다.

컨트롤 플레인은 다음과 같은 사항을 관리할 수 있습니다:

• 정책 (Policies);
• 승인된 모델 라우팅 (Approved model routing);
• 테넌트 구성 (Tenant configuration);
• 사용자 및 부서 수준 설정;
• 감사 뷰 (Audit views);
• 관리 워크플로 (Administration workflows).

데이터 플레인은 다음과 같은 사항을 처리할 수 있습니다:

• 프롬프트 검사 (Prompt inspection);
• 모델 응답 처리 (Model response handling);
• 민감 데이터 탐지 (Sensitive-data detection);
• 마스킹 (Masking);
• 경로 집행 (Route enforcement);
• 요청 수준 텔레메트리 (Request-level telemetry).

이러한 분리가 중요한 이유는 모든 조직이 민감한 프롬프트, 모델 응답 또는 규제 대상 비즈니스 데이터가 SaaS 관리 인터페이스와 동일한 장소에서 처리되는 것을 원하지 않기 때문입니다.

어떤 경우에는 기업이 고객 제어형 데이터 플레인 (Customer-controlled Data Plane)을 선호할 수 있으며, 특히 규제 대상 데이터, 내부 애플리케이션 또는 엄격한 데이터 경계 요구 사항을 다룰 때 그러합니다.

감사 증거는 단순한 로깅이 아닙니다

모든 요청을 로깅 (Logging)하는 것이 거버넌스 증거와 동일한 것은 아닙니다.

유용한 AI 거버넌스 증거는 다음과 같은 질문에 답하는 데 도움이 되어야 합니다:

• 요청을 누가 시작했는지;
• 어떤 모델이 선택되었는지;
• 어떤 정책이 적용되었는지;
• 민감한 데이터가 탐지되었는지;
• 데이터가 마스킹(Masking), 차단(Blocked) 또는 허용(Allowed)되었는지;
• 어떤 결정이 내려졌는지;
• 결정이 언제 내려졌는지;
• 해당 활동을 나중에 검토할 수 있는지.

이러한 유형의 증거는 보안 검토(Security review), 컴플라이언스(Compliance) 논의, 운영 트러블슈팅(Operational troubleshooting) 및 내부 AI 도입 검토를 지원할 수 있습니다.

사용량 및 토큰 가시성 (Usage and token visibility)

또 다른 실질적인 문제는 AI 사용 가시성(Visibility)입니다.

기업의 AI 도입이 증가함에 따라, 많은 조직은 AI 사용량을 총 요청 횟수뿐만 아니라 다음과 같은 기준으로도 파악해야 할 것입니다:

• 사용자;
• 부서;
• 애플리케이션;
• 모델;
• 유스케이스 (Use case);
• 토큰 사용량;
• 추정 비용 또는 제공업체 보고 비용.

이것이 AI 거버넌스가 단지 빌링(Billing) 시스템이 되어야 한다는 의미는 아닙니다.

하지만 사용량 및 비용 가시성은 기업이 도입 패턴을 이해하고, 예산 사용을 검토하며, 관리되지 않는 AI 사용이 더 큰 운영 문제로 발전하기 전에 식별하는 데 도움을 줄 수 있습니다.

목표는 AI 도입을 늦추는 것이 아닙니다

흔한 오해 중 하나는 AI 거버넌스가 주로 제한(Restriction)에 관한 것이라는 점입니다.

실제로 훌륭한 거버넌스는 조직이 더 큰 확신을 가지고 AI를 도입할 수 있도록 도와야 합니다.

직원들이 어떤 도구가 승인되었는지 모른다면 도입은 느려집니다.

보안 팀이 무슨 일이 일어나고 있는지 볼 수 없다면 그들은 조심스러워질 수밖에 없습니다.

법무 및 컴플라이언스 팀이 증거를 확보하지 못하면 검토 시간이 길어집니다.

기술 팀이 요청을 일관되게 라우팅(Route)할 수 없다면 운영은 파편화됩니다.

거버넌스가 적용된 AI 액세스 경로(Access path)는 이러한 불확실성을 줄이는 데 도움을 줄 수 있습니다.

내가 만들고 있는 것

저는 SecureAI Systems Limited(홍콩, 싱가포르 및 동남아시아에 서비스를 제공하는 홍콩 등록 기업)에서 개발한 기업용 AI 액세스 거버넌스 플랫폼인 SecureAI Gateway를 작업하고 있습니다.

SecureAI Gateway는 민감한 데이터가 기업의 통제를 벗어나기 전에 AI 액세스를 거버넌스하는 데 중점을 둡니다.

현재 집중하고 있는 분야는 다음과 같습니다:

• 민감 데이터 탐지 및 마스킹 (sensitive-data detection and masking);
• 승인된 AI 모델 액세스 제어 (approved AI model access control);
• 정책 기반 라우팅 (policy-based routing);
• 감사 증거 (audit evidence);
• AI 사용 가시성 (AI usage visibility);
• 토큰 사용량 및 비용 가시성 (token usage and cost visibility);
• 고객 제어형 데이터 평면 (Data Plane) 옵션을 포함한 하이브리드 배포 (hybrid deployment).

제품은 아직 초기 단계이지만, 핵심 아이디어는 간단합니다:

AI 거버넌스는 실제 AI 액세스 경로 (access path)와 연결될 때 더욱 실용적이 됩니다.

웹사이트:

https://secureaigateway.ai

공개 리소스:

https://github.com/XiaobinZhang6791/secureai-gateway-resources

기업용 AI 거버넌스, AI 보안, 데이터 보호, 모델 리스크 및 실질적인 AI 도입 분야에서 활동하시는 분들과 의견을 나눌 수 있다면 기쁘겠습니다.