대부분의 보안 팀은 2026년의 환경에서 2023년의 위협 모델 (threat model)을 기반으로 운영되고 있습니다. 그 모델은 엔드포인트 (endpoints)를 보호하고, ID (identities)를 관리하며, 클라우드 워크로드 (cloud workloads)를 모니터링하라고 말합니다. 하지만 개발자가 사용자 입력을 받아 내부 데이터와 대조하여 결과를 출력하는, LLM (Large Language Model) 기반 애플리케이션을 배포할 때 발생하는 상황에 대해서는 아무것도 말하지 않습니다. 탈옥 방지 (jailbreak protection)도, 출력 필터링 (output filtering)도, 감사 추적 (audit trail)도 없는 상태 말입니다.

프롬프트 인젝션 (Prompt injection)은 이론적인 이야기가 아닙니다. LLM 애플리케이션을 위한 OWASP Top 10은 이를 주요 위험 카테고리로 발표했습니다. 사용자가 시스템 프롬프트 (system prompt)를 무력화하는 입력을 정교하게 만들어냅니다. 모델은 결코 받아서는 안 될 지침을 실행합니다. 만약 모델이 내부 API, 데이터베이스 연결 또는 파일 시스템에 접근할 수 있다면, 그 피해 범위 (blast radius)는 단순히 챗봇이 이상한 답변을 내놓는 수준이 아닙니다. 그것은 당신의 WAF (Web Application Firewall)가 한 번도 본 적 없는 표면을 통한 데이터 유출 (data exfiltration)입니다. Lasso Security는 정확히 이 계층에 위치하여 프롬프트 인젝션 시도를 탐지하고, 정책 위반 여부를 확인하기 위해 LLM의 입력과 출력을 모니터링하며, 당신의 AI 애플리케이션이 실제로 무엇을 하고 있는지에 대한 가시성을 제공합니다. 그들이 무엇을 하기로 되어 있는지(supposed to do)가 아니라, 실제로 무엇을 하는지(what they do)를 말입니다.

HiddenLayer는 다른 벡터 (vector), 즉 모델 자체를 다룹니다. ML (Machine Learning) 모델은 공격 표면 (attack surfaces)을 가진 자산입니다. 모델 인버전 공격 (Model inversion attacks)은 학습 데이터를 추출할 수 있습니다. 적대적 입력 (Adversarial inputs)은 프로덕션 규모에서 오분류 (misclassification)를 강제할 수 있습니다. 만약 당신의 사기 탐지 모델이 적대적으로 설계된 트랜잭션에 속는다면, 문제는 앱 코드에 있는 것이 아니라 모델 가중치 (model weights)에 있는 것입니다. HiddenLayer는 프로덕션 환경에서 모델의 동작을 모니터링하고, 이상 추론 패턴 (anomalous inference patterns)을 탐지하여 사고로 이어지기 전에 차단합니다.

거버넌스 (Governance)는 대부분의 AI 프로그램이 정체되는 지점입니다. 모델을 구축하는 것은 빠릅니다. 하지만 모델을 문서화하고, 결정 로직을 감사하며, 규제 기관에 모델이 공정하고 정책 범위 내에서 동작했음을 증명하는 것은 완전히 다른 프로젝트입니다. Credo AI와 Arthur AI는 모두 이 문제를 해결합니다. 이들은 모델의 성능, 편향 (bias), 드리프트 (drift) 및 정책 준수 여부를 시간이 지남에 따라 추적하는 AI 거버넌스 플랫폼입니다.

Arthur는 프로덕션 모델의 상태 (health) 모니터링에 더 비중을 둡니다. Credo는 규제 산업을 위한 거버넌스 문서화 (governance documentation) 및 리스크 평가 (risk assessment)에 치중합니다. AI 보안의 데이터 측면은 과소평가되어 있습니다. 내부 데이터로 학습되거나 미세 조정 (fine-tuned)된 LLM은 해당 데이터의 노출 프로필 (exposure profile)을 그대로 가집니다. 모델을 문서 저장소나 데이터베이스에 연결하는 RAG 아키텍처 (RAG architectures)는 모델이 명시적으로 전달받지 않은 정보도 표면화할 수 있습니다. 모델이 단순히 그것을 검색 (retrieved)해냈기 때문입니다. Microsoft Purview는 소스 단계에서 데이터 분류 (data classification) 및 거버넌스를 처리하며, 클라우드 환경 전반에서 민감한 데이터를 추적하고 예상치 못한 곳으로 데이터가 흐를 때 이를 플래그 (flagging)합니다. 이미 Microsoft 생태계에 있는 조직에게 이것은 실질적인 시작점입니다. Wiz는 클라우드 인프라의 모습, 즉 잘못 설정된 스토리지 버킷 (storage buckets), 과도한 권한이 부여된 IAM 역할 (IAM roles), 컨테이너 이미지 내에 노출된 비밀값 (secrets) 등을 보여줍니다. AI 애플리케이션이 여는 공격 경로 (attack paths)는 종종 AI 레이어 자체가 아니라, 그것이 연결된 인프라에 존재합니다. AI 시스템에 대한 컴플라이언스 (compliance) 문서화는 특정 관할 구역에서 법적으로 의무화되고 있습니다. EU AI Act는 실재합니다. SOC 2의 AI 통제 (AI controls) 범위도 확장되고 있습니다. Drata는 증거 수집 (evidence collection) 측면을 자동화합니다. 이는 감사 (audit) 기간 전에 모아둔 스크린샷 폴더가 아니라, 실제 시스템과 연결된 지속적인 모니터링 (continuous monitoring)입니다. Security Stack Analyzer에는 AI 보안 (AI Security)이 별도의 커버리지 카테고리로 포함되어 있습니다. 만약 당신이 LLM 애플리케이션을 배포하고 있는데 현재의 스택에 해당 행에 특화된 도구가 없다면, 커버리지 격차 (coverage gap) 수치가 이를 반영할 것입니다. 2023년에는 아무도 AI 애플리케이션을 제대로 보안하지 못했는데, 그 이유는 2023년에 프로덕션 환경에서 실행 중인 AI 애플리케이션이 많지 않았기 때문입니다. 그 시기는 끝났습니다.

포커스: AI 보안 (AI Security), LLM 리스크 (LLM risks), 데이터 거버넌스 (data governance)
제품: Lasso Security, HiddenLayer, Credo AI, Arthur AI, Microsoft Purview, Wiz, Drata