핵심 요약: AI 제공업체에 보내는 모든 문서는 해당 제공업체가 저장하게 되는 데이터가 되며, 그 제공업체에서 발생하는 보안 침해(breach)는 곧 귀하의 보안 침해가 됩니다. 문서가 환경을 떠나기 전에, 작업에 필요한 내용만 전송하고 텍스트와 페이지 이미지 모두에서 식별자(identifiers)를 제거하십시오. 또한 이러한 단계를 자체 경계(perimeter) 내부에서 수행하며, 공급업체 자격 증명(vendor credentials)은 운영 비밀 정보(production secrets)처럼 취급해야 합니다.
무슨 일이 일어났나
Uber는 제3자 AI 공급업체인 Fireworks AI에서 발생한 10월 보안 침해로 인해 운전자 라이선스 데이터를 포함한 개인 정보가 유출되었음을 운전자들에게 통지하고 있습니다. 기자들이 검토한 주별 보안 침해 신고서에 따르면, 수천 명의 운전자가 영향을 받았으며 (매사추세츠에서 2,567명, 사우스캐롤라이나에서 3,430명, 로드아일랜드에서 1,873명, 기타 주 건은 보류 중), 공격자들은 손상된 Fireworks 자격 증명을 사용하여 Uber가 해당 공급업체에 저장했던 데이터에 접근했습니다. Uber는 자체 시스템이 침해되지 않았으며 지금까지 오용 사례를 발견하지 못했다고 밝혔습니다. Notion 또한 같은 제공업체가 자신들의 워크스페이스 일부에서 영향을 미친 AI 채팅 기록 노출의 배후라고 별도로 언급했습니다. (Yahoo News / TechCrunch, IBTimes)
공개된 보도에서는 왜 운전자 기록이 해당 공급업체 계정을 통해 접근 가능했는지 설명하지 않았기 때문에, 이 글은 특정 회사가 무엇을 했어야 하는지에 대한 내용이 아닙니다. 이는 LLM(대규모 언어 모델)을 기반으로 구축하는 모든 팀이 공유하고 있는 패턴에 관한 것입니다.
패턴: AI 공급업체는 생각보다 더 많은 데이터를 보유합니다
모델 제공업체를 호출할 때, 문서와 프롬프트가 요청 로그(request logs), 배치 작업 파일(batch-job files), 평가 또는 미세 조정 데이터셋(evaluation or fine-tuning datasets), 캐시, 그리고 지원 티켓에 남을 수 있습니다. 이 모든 복사본은 귀하의 것이 아니라 공급업체의 자격 증명과 보안 뒤에 놓여 있습니다. 사용하는 제공업체(모델 호스트, OCR API, 에이전트 플랫폼, 관측 가능성 도구 등)가 많아질수록, 그 표면적(surface)은 더 커집니다.
AI 공급업체로 전송되는 문서를 위한 여섯 가지 통제 방안
1. 무엇을 보내는지 파악하세요. 문서를 외부 모델로 전송하거나 추출된 텍스트를 보내는 모든 파이프라인을 나열하고, 어떤 문서 유형(신분증, 급여 명세서, 은행 거래 내역서, 청구서, 의료 기록 등)이 이를 거치는지 확인하세요.
2. 작업에 필요한 것만 보내세요. 모델이 문서를 분류하거나 주소를 추출하는 경우에도 면허 번호, 생년월일 또는 사진은 필요하지 않습니다. 작업에서 사용되지 않는 필드는 제거(drop)하거나 마스킹하세요.
3. 텍스트뿐만 아니라 이미지를 마스킹하세요. 신분증이나 스캔본은 이미지입니다. OCR 텍스트에서 값을 제거하더라도 페이지 이미지에 여전히 표시된다면 보호되지 않습니다. 픽셀, 텍스트 레이어 및 메타데이터를 모두 제거하고, 마스킹된 영역을 복사, 검색 및 추출하려고 시도하여 출력을 확인하세요.
4. 마스킹을 경계 내부에서 수행하세요. 원본 문서를 클라우드 마스킹 서비스에 보내 모델 제공업체에 안전하게 보낼 수 있게 하더라도, 원본을 보유하는 또 다른 공급업체를 추가한 것입니다. 온프레미스(on-premises) 또는 자체 클라우드 계정에서 탐지 및 마스킹을 실행하고, 마스킹된 결과물만 전송하세요.
5. 결과를 다시 연결해야 할 때는 토큰을 사용하세요. 식별자를 일관된 자리 표시자(예: <DL_NUMBER_1>)로 대체하고, 매핑 정보는 자체 시스템에 보관하여 공급업체가 값을 볼 수 없어도 모델 출력을 기록과 결합할 수 있도록 하세요.
6. 공급업체 접근을 운영 환경(production) 접근처럼 취급하세요. 공급업체가 제공하는 범위 제한 키(scoped keys), 로테이션, 짧은 보존 기간 또는 제로 보존 기간 설정을 사용하고, 더 이상 필요하지 않은 배치 파일 및 데이터 세트를 삭제하세요. 이 사고는 손상된 자격 증명에서 시작되었습니다.
한계를 명확히 하세요: 마스킹은 공급업체 침해로 노출될 수 있는 것을 줄여주지만, 이는 접근 제어 결정이 아니며 공급업체의 자체 보안을 대체하지 않습니다. 또한 단독으로 HIPAA와 같은 규칙에 따른 공식적인 비식별화(de-identification)도 아닙니다.
귀하의 문서처럼 보이는 문서로 테스트해 보세요
깨끗한 PDF에서 작동하는 검열(Redaction)은 각도가 틀어진 라이선스 휴대폰 사진에서는 값을 놓칠 수 있습니다. 실제로 받게 되는 캡처 조건에서, 모든 민감한 값을 사전에 알고 있는 문서로 테스트해야 합니다. GritWorks의 무료 US KYC sample pack에는 가상의 운전면허증과 주소 증명서 표본이 포함되어 있으며, 각각 깨끗한 상태와 손상된(degraded) 상태 모두에서 모든 필드의 예상 값과 위치를 제공합니다.