벤더 AI 사고 대응: 실무에서의 공동 책임 모델

Originally published at https://charz.ai/blog/vendor-ai-incident-response by Char-Z AI.

AI 사고를 위한 공동 책임 모델(The Shared-Responsibility Model for AI Incidents)

제3자 AI의 경우, 사고는 어느 계층에서든 발생할 수 있습니다. 모델 중단, 데이터 유출, 유해한 출력물 생성, 또는 벤더 측의 규제 문제가 있을 수 있습니다. 공동 책임 모델은 소유권을 분할합니다. 벤더는 운영하는 플랫폼에 대해 책임을 지고; 사용자는 그 플랫폼에 입력하는 데이터, 사용하는 방식, 그리고 자체 고객 및 규제 기관에 대한 의무를 이행하는 것에 대해 책임을 집니다.

실제로 이는 사고 대응 의무를 벤더에게 위임할 수 없다는 것을 의미합니다. 만약 AI 벤더에 제출한 데이터가 유출 사고와 관련된다면, GDPR의 72시간 규칙(European Commission, 2016)에 따라 영향을 받은 데이터 주체 및 규제 기관에 통지 의무를 지는 것은 사용자가 되어야 하며, 벤더가 아닙니다. 귀하의 사고 대응은 벤더 문제에 대해 알게 되는 즉시 조치할 준비가 되어 있어야 합니다.

AI 사고의 계층(Layers in an AI Incident)

모델(Model) — 유해하거나 편향되거나 허위 정보를 포함하는 출력물 — 주된 소유권자: 벤더 (대부분).

데이터(Data) — 데이터 유출, 보존, 학습 오용 — 분할됨.

플랫폼(Platform) — 중단, API 실패, 보안 결함 — 벤더.

사용(Usage) — 사용자의 트래픽이 사고를 유발하는 경우 — 사용자 (귀하).

규제(Regulatory) — AI Act / GDPR 조사 — 사용자 (배포자로서 귀하).

고객 측 사고 계획(The Customer-Side Incident Plan)

사고가 발생하기 전에 네 가지 사항을 마련해야 합니다:

1. 벤더 사고 연락처: 누구에게 전화해야 하는지, 그리고 계약이 보장하는 통보 기간을 알아야 합니다.

2. 내부 에스컬레이션 경로(Internal escalation path): 조직 내에서 누가 벤더 사고를 평가하고 대응을 결정할지 정의합니다.

3. 사전 합의된 심각도 수준(Pre-agreed severity levels): 무엇이

벤더 사고 발생 시 대응 방안

1단계 — 신속하게 파악합니다. 벤더의 통보에 의존하되, 자체적인 원격 측정(telemetry)을 통해 이상 징후(예상치 못한 데이터 유출, 서비스 중단, 출력값 변경 등)를 모니터링해야 합니다. 통보를 기다리지 마십시오.

2단계 — 귀사 데이터에 미치는 영향을 평가합니다. 어떤 데이터가 관련되었는지, 그 민감도는 어떠한지, 국경을 넘었는지를 파악하여 이를 통해 귀사의 의무를 결정합니다.

3단계 — 격리 및 보호 조치를 취합니다. 벤더에게 노출된 키/자격 증명(keys/credentials)을 교체하고, 위험성이 높은 통합 지점(integration points)을 일시 중단하며, 필요하다면 해당 시스템으로의 데이터 흐름을 차단합니다.

4단계 — 통지 의무를 이행합니다. 개인 데이터가 위험에 처한 경우, 감독 기관 및 데이터 주체에게 72시간 내 GDPR(General Data Protection Regulation) 통보 여부를 평가해야 합니다 (European Commission, 2016). 이는 벤더의 의무와는 별개입니다.

5단계 — 증거를 보존합니다. 감사 추적 기록(audit trail) 및 계약상 청구에 대비하여 발생한 모든 내용을 기록으로 남겨야 합니다.

6단계 — 검토 및 계약 개선을 추진합니다. 사후에는 벤더가 무엇을 변경했는지, 그리고 귀사의 계약서 중 통보 기간, 감사 권한(audit rights), 또는 종료 조건 등을 업데이트해야 하는지 확인해야 합니다.

이러한 대응을 가능하게 하는 계약 조항들

• 통보 기간 (Notification window) — 탐지부터 벤더가 귀사에게 통보하는 데까지 걸리는 최대 시간

• 감사 권한/증거 접근권 (Right to audit / evidence access) — 대응 조치를 검증할 수 있도록 하는 권리

• 하위 처리업체 책임성 (Subprocessor accountability) — 벤더가 자체 제공업체들에게 의무를 하달해야 함을 명시하는 것

• 종료 및 데이터 삭제 (Exit and data deletion) — 벤더가 의무를 이행할 수 없을 때 깨끗하게 관계를 종료하는 방법

거버넌스 참고 사항

벤더 사고 대응 과정을 귀사의 AI 거버넌스 프로그램에 통합해야 합니다. 사고를 기록하고, 재발 여부를 추적하며, 얻은 교훈을 벤더 검토 및 위험 등록부(risk register)에 반영해야 합니다. NIST AI RMF의 관리(Manage) 기능은 모니터링과 대응이 일회성이 아닌 지속적인 과정임을 명시합니다 (NIST, 2023). 여러 벤더를 거쳐 반복되는 AI 사고는 벤더 선정 및 계약 방식을 재검토해야 한다는 신호입니다.

출처

European Commission. (2016). Regulation (EU) 2016/679 — 일반 데이터 보호 규정(General Data Protection Regulation). Official Journal of the European Union.
NIST. (2023). 인공지능 위험 관리 프레임워크 (Artificial Intelligence Risk Management Framework, AI RMF 1.0). 미국 국립표준기술연구원(National Institute of Standards and Technology). https://doi.org/10.6028/NIST.AI.100-1