Shadow AI에 이름이 생겼습니다. 또한 급격히 성장하는 거버넌스 문제도 안고 있습니다.

소프트웨어 보안에는 잘 확립된 원칙이 있습니다: 볼 수 없는 것은 보호할 수 없다는 것입니다. 소프트웨어 자재 명세서 (SBOM, Software Bill of Materials)가 존재하는 이유는 조직이 어떤 취약점이 자신들에게 영향을 미치는지 식별하기 위해 시스템 내의 모든 소프트웨어 구성 요소, 라이브러리 및 종속성에 대한 구조화된 인벤토리가 필요했기 때문입니다.

그 원칙이 AI 분야에도 도래했습니다. 그리고 이 원칙이 드러내는 인벤토리 문제는 대부분의 조직이 인지하고 있는 것보다 훨씬 더 큽니다.

기업 환경이 기존의 소프트웨어 인벤토리 관행으로는 추적할 수 없는 AI 모델, 에이전트 (Agents), 도구 및 승인되지 않은 애플리케이션으로 포화됨에 따라, 이번 주에 AI-BOM (AI Bill of Materials, AI 자재 명세서)이라 불리는 새로운 거버넌스 표준이 주목을 받고 있습니다. AI-BOM은 모델뿐만 아니라 데이터 세트 (Datasets), 에이전트 (Agents), 프롬프트 (Prompts) 및 이들 사이의 상호 연결성을 인벤토리화하도록 설계되었습니다.

이 표준이 지금 등장하는 이유는 SBOM이 등장했던 이유와 동일합니다. 조직은 자신들의 AI 환경이 생각했던 것보다 더 크고, 더 상호 연결되어 있으며, 통제(Governance)가 덜 되어 있다는 사실을 발견했습니다. 또한 실제로 실행되고 있는 것과 실행되고 있다고 생각하는 것 사이의 격차가 실질적이라는 사실도 깨달았습니다.

실제 환경에서 Shadow AI는 어떤 모습인가

Shadow AI는 기업용 AI 버전의 Shadow IT와 같습니다. 즉, 공식적인 IT 및 거버넌스 프로세스 외부에서 배포된 AI 도구, 모델 및 에이전트 (Agents)를 의미합니다. 그리고 Shadow IT와 마찬가지로, 이는 거의 항상 사용 가능한 도구를 통해 더 높은 생산성을 내고자 하는 사람들이 선의를 가지고 배포하는 것입니다.

주석 작성을 돕기 위해 부서의 ChatGPT 계정을 회사의 재무 보고 데이터에 연결한 재무 팀. 승인된 벤더 목록에 없는 제3자 AI 도구를 사용하여 문서 검토 워크플로우를 구축한 법무 팀. 프로덕션 코드베이스 (production codebase)에 접근 권한이 있는 AI 코딩 어시스턴트 (AI coding assistant)를 통합한 소프트웨어 엔지니어링 팀. 팀원들이 고객 응답 초안을 작성할 때 사용하는 프롬프트 기반 (prompt-based) AI 어시스턴트를 구축한 고객 서비스 관리자.

이 각각은 AI 역량의 생산적인 활용 사례를 나타냅니다. 하지만 동시에 조직이 인지하지 못한 채 떠안고 있는 데이터 거버넌스 (data governance) 리스크, 보안 리스크, 그리고 컴플라이언스 (compliance) 리스크를 나타내기도 합니다.

조직의 87%가 AI 시스템 자체의 취약점을 가장 빠르게 성장하는 위협 중 하나로 식별했다는 오늘 WEF(세계경제포럼)의 조사 결과는 부분적으로 Shadow AI 문제와 관련이 있습니다. 시스템의 존재 자체를 모른다면, AI 특화 공격 벡터 (AI-specific attack vectors)로부터 시스템을 보호할 수 없기 때문입니다.

AI-BOM이 실제로 요구하는 것

이번 주에 등장하는 AI-BOM 표준은 소프트웨어 SBOM보다 더 복잡합니다. AI 환경은 전통적인 소프트웨어 환경보다 더 많은 상호 연결된 요소들을 가지고 있기 때문입니다.

완전한 AI-BOM은 다음 사항들을 포함합니다: 버전, 학습 데이터 소스 (training data source), 배포 팀, 현재 운영 상태를 포함하여 배포된 모든 AI 모델; 시스템이나 데이터에 접근할 수 있는 모든 AI 에이전트 (AI agent); 프로덕션 워크플로우 (production workflows)에서 사용되는 모든 프롬프트 템플릿 (prompt template); 학습, 미세 조정 (fine-tuning) 또는 검색 (retrieval)에 사용되는 모든 데이터셋; 그리고 이들 사이의 의존성(dependency) — 즉, 어떤 모델이 어떤 데이터셋을 사용하는지, 어떤 에이전트가 어떤 모델을 호출하는지, 어떤 워크플로우가 어떤 에이전트를 사용하는지 등입니다.

중앙 집중식 거버넌스 (central governance) 없이 2년 동안 AI 도구를 배포해 온 조직에서 이러한 인벤토리 (inventory)를 구축하는 것은 결코 사소한 작업이 아닙니다. 이는 단순히 IT 부서가 알고 있는 것들을 목록화하는 것을 넘어, 배포된 모델과 도구들을 찾아내기 위한 능동적인 탐색 스캐닝 (discovery scanning)을 필요로 합니다.

AI-BOM이 강제하는 거버넌스 원칙

보이지 않는 것은 관리할 수 없습니다. 관리할 수 없는 것은 보안을 유지할 수 없습니다.

상당한 수준의 AI 배포 활동을 수행하는 조직에게 AI-BOM (AI Bill of Materials)은 선택적인 거버넌스 강화 수단이 아닙니다. 이는 신뢰할 수 있는 AI 거버넌스 태세 (governance posture)의 근간이며, 보안 모니터링 (security monitoring)부터 규제 준수 (regulatory compliance), 사고 대응 (incident response)에 이르기까지 모든 다른 거버넌스 역량을 갖추기 위한 전제 조건입니다.

현재 AI-BOM 관행을 구축하고 있는 조직은 이후의 모든 거버넌스 투자를 유용하게 만드는 가시성 (visibility)을 확보하고 있는 것입니다. 반면, Shadow AI (섀도 AI)가 밑바닥에서 확산되는 동안 자신이 알고 있는 AI만을 관리하는 조직은 정량화할 수 없는 리스크를 떠안고 있으며, 이는 리스크를 명확히 인지하여 대응할 수 있는 상태보다 훨씬 더 위험한 상황입니다.

PalTech는 기업이 AI 인벤토리 (AI inventory), Shadow AI 탐지 (shadow AI discovery), 그리고 거버넌스를 부분적이 아닌 완전하게 만드는 AI-BOM 관행을 포함한 AI 거버넌스 인프라를 구축할 수 있도록 지원합니다.

PalTech에서 AIOps 및 거버넌스 살펴보기 →