AI 벤더 선정은 소프트웨어 조달이 아닙니다

SaaS 도구를 구매할 때, 여러분의 데이터는 타인의 데이터베이스에 저장됩니다. 하지만 AI 서비스를 구매할 때, 여러분의 데이터는 타인의 모델을 통과하여(through) 흐릅니다. 이는 데이터가 학습 데이터(training data)가 될 가능성을 내포합니다. 여러분의 데이터는 결코 검사할 수 없는 가중치(weights) 속에 임베딩(embedded)될 수도 있습니다. 또한 다른 고객의 검색 결과에서 부분적으로 재구성된 형태로 나타날 수도 있습니다.

조달(Procurement) 팀은 이 둘을 동일한 구매로 취급합니다. SOC 2, 가동 시간 SLA(uptime SLA), 저장 데이터 암호화(data encryption at rest)와 같은 동일한 체크리스트를 사용하여 모든 항목을 확인하고 계약에 서명하지만, 6개월 후에 자신들의 고객 데이터가 기본 설정으로 글로벌 모델을 학습시키는 데 사용되었다는 사실을 발견하게 됩니다. 혹은 자신들의 임베딩이 내보내기 경로가 없는 독점적 형식(proprietary format)에 갇혀 있다는 사실을 알게 됩니다. 또는 벤더가 데이터 처리 방식이 고객 계약 중 세 가지를 무효화하는 AI 하위 프로세서(sub-processor)를 조용히 추가했다는 사실을 깨닫게 됩니다.

SOC 2 Type II 및 ISO 27001은 기본 요건(table stakes)입니다. 요즘 거의 모든 SaaS 벤더가 이를 보유하고 있습니다. 이러한 인증은 벤더가 보안 프로그램(security program)을 갖추고 있음을 알려줄 뿐, 데이터가 모델에 진입한 후 어떤 일이 발생하는지에 대해서는 아무것도 알려주지 않습니다. AI 경영 시스템 표준인 ISO 42001은 AI 거버넌스(AI governance), 즉 학습 데이터가 어떻게 소싱되는지, 모델이 어떻게 모니터링되는지, 편향(bias) 및 환각(hallucination)과 같은 리스크가 어떻게 관리되는지를 실제로 다루는 첫 번째 인증입니다. 대부분의 벤더는 아직 이를 보유하고 있지 않습니다. 이를 보유한 벤더는 단순한 인프라 보안뿐만 아니라 AI 특화 리스크를 진지하게 다루고 있음을 증명하는 것입니다.

여러분의 데이터에는 생각보다 많은 소유자가 있습니다

대부분의 조달 팀을 당황하게 만드는 요소는 _하위 처리(sub-processing)_입니다. 즉, 여러분의 벤더가 처리를 위해 데이터를 다른 회사로 전달하는 경우를 말합니다. 전통적인 SaaS에서는 이것이 대개 호스팅 제공업체나 분석 도구인 경우가 많습니다. 하지만 AI에서는 모델 제공업체(model provider)가 됩니다. 이는 완전히 다른 문제입니다.

가장 좋은 예: AWS Bedrock과 Anthropic 플랫폼의 Claude는 모두 Claude를 사용할 수 있게 해줍니다. 둘 다 AWS 인프라에서 실행됩니다. 하지만 이 둘은 동일한 제품이 아닙니다.

AWS Bedrock: AWS가 유일한 처리자 (processor)입니다. Anthropic은 귀하의 데이터에 전혀 접근할 수 없습니다. 귀하의 프롬프트 (prompts), 응답 (responses), 그리고 모든 미세 조정 (fine-tuning) 데이터는 AWS 경계 (boundary)를 절대 벗어나지 않습니다. 이는 FedRAMP High 자격 요건을 충족합니다. 귀하의 기존 AWS BAA (Business Associate Agreement)가 이를 보장합니다.

AWS 상의 Claude Platform: Anthropic이 처리자 (processor)입니다. AWS는 결제와 신원 확인 (identity)을 담당합니다. 귀하의 데이터는 Anthropic의 데이터 정책에 따라 Anthropic의 시스템을 통해 흐릅니다. 동일한 모델이며, 동일한 클라우드이지만, 컴플라이언스 포스처 (compliance posture, 준수 태세)는 완전히 다릅니다.

이와 동일한 패턴이 도처에 존재합니다. Azure OpenAI는 데이터를 Azure 경계 내에 유지하며, OpenAI라는 회사는 이를 절대 볼 수 없습니다. 하지만 Azure의 SRE Agent는 Anthropic을 하위 처리자 (sub-processor)로 사용하며, 해당 데이터는 EU 데이터 경계 (EU Data Boundary)를 완전히 벗어날 수 있습니다. Salesforce는 OpenAI를 하위 처리자로 명시하고 있으며, 2026 회계연도(FY2026)에 1조 개 이상의 OpenAI 토큰을 처리했습니다. 그들의 Einstein Trust Layer는 데이터 보존 제로 (zero data retention)를 주장하지만, "보존 제로 (zero retention)"와 "접근 제로 (zero access)"는 동일한 의미가 아닙니다.

GDPR을 신경 쓰지 않는 미국 기업이라면 이것이 왜 중요할까요? 귀하의 고객 계약에는 아마도 "승인되지 않은 하위 처리 (unauthorized sub-processing) 금지"와 같은 조항이 포함되어 있을 것입니다. 귀하의 벤더가 귀하가 알지 못했던 AI 하위 처리자를 추가할 경우, 귀하가 귀하의 고객 계약을 위반하게 될 수도 있습니다. HIPAA(미국 의료정보 보호법) 하에서, 벤더와의 BAA가 AI 하위 처리자를 자동으로 보장하지는 않습니다. 즉, PHI (개인 건강 정보)가 보장 없이 5~6개의 하위 처리자를 거쳐 흐를 수 있습니다. ITAR (국제 무기 거래 규정) 하에서, 외국 국적자가 관리자 권한을 가진 AI 인프라는 간주 수출 (deemed export)에 해당하며, 위반 시 건당 최대 100만 달러의 민사 벌금이 부과될 수 있습니다. SOX (사반스-옥슬리법) 하에서, AI로 처리된 재무 데이터의 감사 추적 (audit trail) 불투명성은 언제든 지적될 수 있는 결함 사항입니다.

평가 프레임워크 (The evaluation framework)

저희는 다섯 가지 차원 (dimensions)을 제공했습니다. 각 차원별로 무엇을 질문해야 하는지, 무엇이 바람직한 상태인지, 그리고 위험 신호 (red flag)는 무엇인지 정리했습니다. 이는 귀하의 SaaS 체크리스트가 누락하거나 잘못 파악하고 있는 부분들입니다.

도구가 실제 문제를 해결하지 못한다면 이 모든 것은 중요하지 않습니다. 기술적 실사 (Technical due diligence)는 다음과 같은 질문을 대신할 수 없습니다: 이 벤더가 실제로 우리가 더 빠르게 움직이고, 고객에게 더 나은 서비스를 제공하거나, 비용을 절감하는 데 도움이 되는가? 아래의 프레임워크는 귀하가 이미 비즈니스 가치를 확립했다는 것을 전제로 합니다. 이 프레임워크가 보호하고자 하는 것은 그 가치를 '유지'할 수 있는 능력입니다. 즉, 벤더의 데이터 관행 (data practices), 락인 상태 (lock-in posture), 그리고 계약적 약속이 좋은 도구를 값비싼 부채 (liability)로 만들지 않도록 보장하는 것입니다.

1. 데이터 사용 및 학습 기본 설정 (Data usage and training defaults)

이 부분은 사람들에게 큰 피해를 입히는 지점입니다. 질문은 "내 데이터가 안전한가?"가 아닙니다. "내 데이터가 다른 모든 사람을 위해 벤더의 제품을 더 좋게 만들고 있는가?"가 되어야 합니다.

기본 설정은 예상보다 더 심각합니다. ChatGPT는 유료 플랜에서도 기본적으로 사용자 데이터를 학습에 사용합니다. Team 및 Enterprise 등급은 사용하지 않지만, Plus 등급은 사용합니다. GitHub Copilot은 2026년 4월 기준으로 Free, Pro, Pro+ 플랜의 상호작용 데이터 (interaction data)를 기본적으로 학습에 사용합니다. Salesforce의 Spring '26 릴리스는 고객 데이터를 글로벌 예측 AI 모델 (global predictive AI models)에 공급하며, 이는 기본적으로 활성화되어 있습니다. Atlassian은 2026년 8월부터 Rovo를 학습시키기 위해 고객 메타데이터 (metadata)를 사용할 예정이며, Free, Standard, Premium 등급은 메타데이터 수집을 거부 (opt out)할 수 없습니다.

질문해야 할 사항: "마케팅 페이지가 아닌, 계약서상의 문구로 된 모델 학습을 위한 데이터 사용 정책을 보여주세요. 콘텐츠 (content), 메타데이터 (metadata), 그리고 상호작용 패턴 (interaction patterns)을 구분하고 있습니까? 거부 (opt-out) 기능이 설정 토글 방식입니까, 아니면 계약적 보장입니까?"

좋은 사례: 설정 토글이 아닌, 고객 데이터가 학습에 사용되지 않는다는 계약적 약속. 단순히 콘텐츠뿐만 아니라 메타데이터와 사용 패턴을 포함하여 "데이터"가 무엇을 의미하는지에 대한 명확한 정의. 추론 (inference) 이후 데이터에 어떻게 처리되는지에 대한 구체적인 정책.

위험 신호 (Red flag): "귀하의 데이터로 학습하지 않습니다"라고 말하지만, 서비스 이용 약관 (ToS)은 다르게 규정하고 있는 경우입니다. Zoom은 2023년에 머신러닝 (ML) 및 인공지능 (AI)을 위해 고객 콘텐츠에 대한 영구적인 라이선스를 부여하도록 약관을 업데이트했으나, 거센 반발로 인해 일주일 만에 세 차례나 수정해야 했습니다. Slack은 메시지를 활용한 비생성형 AI (non-generative AI) 학습에 대해 기본적으로 고객을 참여 (opt-in)시키며, 이를 거부 (opt-out)하려면 고객 지원팀에 직접 문의해야 합니다. 만약 벤더에게 "내 데이터로 학습하나요?"라는 질문에 대한 답변이 각주를 필요로 한다면, 그 대답은 "예"입니다.

관문 (The gate): 어떤 데이터가 어떤 목적으로 사용되는지, 그리고 그것이 귀하의 사용 사례 (use case)에 수용 가능한지를 정확히 파악하십시오. 일부 서비스는 귀하의 데이터로부터 학습하도록 _설계_되어 있으며, 그것이 바로 가치 제안 (value proposition)일 수 있습니다. 질문은 "학습을 하는가"가 아니라 "무엇을 학습하는지 알고 있는가, 동의했는가, 그리고 이를 제어할 수 있는가?"가 되어야 합니다. 이 중 하나라도 답변이 "아니오"라면 그것이 바로 문제입니다.

2. 하위 프로세서 (Sub-processor) 투명성

대부분의 벤더는 요청하지 않아도 SOC 2 및/또는 ISO 27001 보고서를 제공할 것입니다. 하지만 그들의 하위 프로세서 (sub-processor) 목록을 요구하면 대화의 흐름이 바뀌는 것을 목격하게 될 것입니다.

질문해야 할 사항: "AI 모델 제공업체를 포함하여 고객 데이터를 처리하는 하위 프로세서의 전체 목록을 제공해 주십시오. 각 하위 프로세서는 어떤 데이터를 수신합니까? 새로운 AI 하위 프로세서를 추가할 때 귀사의 통지 프로세스는 어떻게 됩니까?"

이상적인 모습 (What good looks like): 정기적으로 업데이트되는 공개된 하위 프로세서 목록이 있어야 하며, 새로운 프로세서를 추가하기 전 30일 이상의 사전 통지와 계약상의 이의 제기 권리 (contractual objection rights)가 보장되어야 합니다. 또한 각 하위 프로세서가 어떤 데이터를 수신하는지에 대한 구체적인 공개가 이루어져야 합니다. Nightfall AI는 주요 SaaS 벤더들을 위한 공개 AI 하위 프로세서 추적기 (tracker)를 유지하고 있습니다. 만약 귀하의 벤더가 목록에 없다면, 그 이유를 물어보십시오.

위험 신호 (Red flag): 하위 프로세서 목록이 없거나, 목록에서 AI 모델 제공업체를 누락한 경우, 또는 통지가 "자사의 재량에 따라" 이루어지는 경우입니다. 벤더가 귀하의 데이터에 누가 접근하는지 정확히 말해주지 못한다면, 그들은 모르고 있거나 귀하가 알기를 원치 않는 것입니다.

관문 (The gate): 귀하의 데이터에 누가 접근하는지 반드시 알아야 합니다. 공개된 목록, 사전 통지, 이의 제기 권리 등 그 형식이 얼마나 공식적이어야 하는지는 귀하의 규제 환경과 고객에 대한 약속에 따라 달라집니다. 하지만 기본 원칙은 다음과 같습니다. 벤더는 자신의 하위 프로세서 (sub-processors)가 누구인지, 그리고 각 프로세서가 어떤 데이터를 받는지 명확하게 말할 수 있어야 합니다.

3. 데이터 보안 및 사고 대응 (Data security and incident response)

2023년, Samsung 직원들은 20일 동안 ChatGPT에 독점 소스 코드를 3번 붙여넣었습니다. 이에 Samsung은 모든 생성형 AI (generative AI) 사용을 금지했습니다. 2026년 4월, Context AI 시스템에 대한 OAuth 위임 권한을 가진 Vercel의 직원이 해킹당했습니다. 유출된 데이터는 BreachForums에 올라와 200만 달러의 가격이 매겨졌습니다. AnythingLLM의 Pinecone 통합 과정에 있는 인증되지 않은 엔드포인트 (unauthenticated endpoint)는 API 키를 노출했습니다. 공급망 공격 (supply chain attack)은 GitHub README에 악성 명령을 숨겼으며, 이는 개발자들이 Cursor IDE의 AI 기능을 사용할 때 실행되었습니다.

이것이 현재의 공격 표면 (attack surface)입니다. 그리고 이는 줄어들고 있지 않습니다.

질문해야 할 사항: "사고 통지 타임라인은 어떻게 됩니까? AI 특화 면책 조항 (AI-specific indemnity provisions)이 있습니까? 만약 귀하의 모델이 귀하의 제품에 포함되는 침해적인 결과물을 생성한다면, 누가 책임을 집니까? 에이전트 실행 (agent execution)을 위한 어떤 통제 장치가 있으며, 제가 원격으로 이를 중단(kill)할 수 있습니까?"

이상적인 모습: 72시간 이내의 사고 통지. 출력물에 대한 지식재산권 (IP) 침해 시 AI 특화 면책 보장. 에이전트 실행을 위한 킬 스위치 (kill switch). 프롬프트 (prompts)가 귀하의 지식재산권 (IP)임을 명시적으로 인정함.

위험 신호 (Red flag): AI 특화 조항이 없는 상투적인 SaaS 보안 문구. 만약 그들의 사고 대응 계획에 모델 특화 공격 벡터 (model-specific attack vectors) — 프롬프트 인젝션 (prompt injection), 임베딩 역전 (embedding inversion), 학습 데이터 추출 (training data extraction) — 가 언급되어 있지 않다면, 그것은 그들이 제품에 AI를 추가하기 전에 작성된 것입니다.

4. 락인 및 이식성 (Lock-in and portability)

AI 락인 (Lock-in)은 전통적인 소프트웨어 락인보다 더 깊게 작용합니다. SaaS의 경우, 데이터가 그들의 데이터베이스에 있으므로 내보내기 (export)가 필요할 뿐입니다. 하지만 AI 벤더의 경우, 데이터가 그들의 임베딩 (embeddings, 독점 형식이라 내보내기 불가)에 들어있을 수 있고, 그들의 인프라 위에서 파인튜닝 (fine-tuned)된 모델에 들어있을 수 있으며 (가중치 (weights) 내보내기 불가), 워크플로 (workflows)를 그들의 툴링 (tooling)에 결합하는 오케스트레이션 레이어 (orchestration layer)에 엮여 있을 수 있습니다. 전통적인 소프트웨어가 하나의 레이어를 가질 때, AI는 세 개의 레이어를 가집니다.

투자가 진행되는 매달마다 탈출 비용 (exit cost)은 증가하며, 탈출 비용은 단순한 기술적 문제가 아닌 비즈니스 리스크입니다. 만약 다음 분기에 더 나은 모델이 출시되었는데 전환할 수 없다면, 당신은 더 적은 가치를 위해 더 많은 비용을 지불하게 됩니다. 만약 벤더가 인수되어 로드맵 (roadmap)이 변경된다면, 당신은 갇히게 됩니다. 1,000만 개의 문서를 다시 임베딩 (re-embedding)하는 데에는 API 비용만으로도 30~900달러가 소요되며, 여기에 새로운 임베딩이 이전과 동등한 검색 품질 (retrieval quality)을 생성하는지 검증하는 엔지니어링 시간까지 추가됩니다. 파인튜닝된 모델 가중치 (weights)는 일반적으로 관리형 서비스 (managed services)에서 내보낼 수 없습니다. 벤더 전용 오케스트레이션 API (orchestration APIs)를 기반으로 구축된 워크플로 로직 (workflow logic)은 마이그레이션 (migration)이 아니라 재작성 (rewrite)을 요구합니다.

질문해야 할 사항: "임베딩, 파인튜닝 데이터셋, 프롬프트 (prompts), 그리고 상호작용 로그 (interaction logs)를 JSON, CSV, Parquet와 같은 개방형 형식 (open formats)으로 내보낼 수 있습니까? 모델 폐기 정책 (deprecation policy)은 어떻게 됩니까? 사전 통지는 얼마나 주어지며, 통지 기간 동안 이전 버전에 대한 접근 권한을 유지할 수 있습니까? 귀사가 인수되거나 폐업할 경우 제 데이터는 어떻게 됩니까?"

이상적인 모습: 임베딩, 파인튜닝된 모델 가중치, 그리고 워크플로 설정을 포함하는 계약상의 데이터 탈출 조항 (data exit provisions). 이전 버전에 대한 지속적인 접근 권한을 보장하는 최소 90일의 폐기 사전 통지. 독점적인 덤프 (proprietary dumps)가 아닌 개방형 형식의 데이터 내보내기.

위험 신호 (Red flag): "마이그레이션을 도와드리겠습니다." 이것은 계약상의 보장이 아니라 막연한 느낌 (vibe)일 뿐입니다. Notion AI가 좋은 사례를 보여줍니다. 엔터프라이즈 (Enterprise) 플랜은 LLM 제공업체로부터 데이터 보존 (retention)을 전혀 받지 못합니다. 비엔터프라이즈 플랜은 최대 30일간의 보존을 허용합니다. 동일한 제품임에도 불구하고, 어떤 플랜을 사용하느냐에 따라 데이터 태세 (data posture)가 달라집니다.

5. 관할권 주권 (Jurisdictional sovereignty)

AI 데이터 전송에 관한 법적 근거는 대부분의 법무 팀이 추적할 수 있는 속도보다 더 빠르게 변화하고 있습니다. EU-US 데이터 프라이버시 프레임워크 (EU-US Data Privacy Framework)는 2025년 말에 무효화되었습니다. CNIL은 2026년 2월, 표준 계약 조항 (Standard Contractual Clauses)을 넘어서는 추가적인 조치를 요구하는 지침을 발표했습니다. 여기에는 제공업체가 키를 보유하지 않는 암호화 (encryption)가 포함됩니다. 이는 대부분의 AI API 사용 방식에서는 기술적으로 불가능합니다. 모델이 데이터를 처리하려면 평문 (plaintext)이 필요하기 때문입니다.

설령 미국 내에서만 운영하더라도 규제 범위는 확장되고 있습니다. 콜로라도 AI 법 (Colorado's AI Act)은 2026년 6월 30일에 발효됩니다. 텍사스 RAIGA는 2026년 1월 1일에 시행되었습니다. 일리노이주는 2026년 2월에 그 뒤를 따랐습니다. 미국의 CLOUD 법 (US CLOUD Act)은 미국에 본사를 둔 제공업체가 서버 위치와 관계없이 역외 데이터 접근 (extraterritorial data access)의 대상이 됨을 의미합니다. 이는 "EU 내 데이터 거주 (data residency in the EU)"라는 보장이 들리는 것보다 더 취약하다는 것을 뜻합니다.

질문해야 할 사항: "내 데이터가 어디에서 처리, 저장 및 전송됩니까? 어떤 관할권(jurisdictions)을 거칩니까? CLOUD 법 또는 그에 상응하는 법률에 따라 정부가 내 데이터에 대한 접근을 요청할 경우 어떻게 됩니까?"

이상적인 답변: "상황에 따라 다릅니다"가 아닌 구체적인 답변입니다. 지역, 법적 메커니즘, 그리고 비상 계획 (fallback plan)을 명시할 수 있는 벤더여야 합니다. 현재 서유럽 CIO의 61%가 현지 제공업체를 우선시하고 있습니다. 이 수치는 2년 전에는 근처에도 가지 못했던 수치입니다.

위험 신호 (Red flag): "저희 서버는 미국/EU에 있습니다." 이것은 답변이 아닙니다. 서버 위치는 데이터가 어디에서 잠자고 있는지를 알려줄 뿐, 데이터가 어디로 이동하는지를 알려주지는 않습니다.

프레임워크가 아니라 배포 모델이 리스크를 변화시킨다

위의 모든 내용은 클라우드 기반 SaaS를 가정합니다. 하지만 AI는 온프레미스 (on-prem), 하이브리드 (hybrid), 그리고 에어갭 (air-gapped) 환경에서도 배포되며, 모델이 실행되는 위치에 따라 리스크 프로필 (risk profile)이 달라집니다.