Insights
AI가 자동으로 큐레이션·번역·정리하는 기술 동향 피드입니다.
본 기사는 AI 위험에 대한 임원진 교육의 중요성을 강조하며, 단순한 이론 학습을 넘어선 실질적인 테이블탑 모의 훈련을 제안합니다. 실제 데이터 유출 시나리오(EchoLeak)를 기반으로, 리더들이 시스템 소유권, 법적 의무(GDPR), 그리고 위기 상황에서의 핵심 의사결정 능력을 검증하는 것이 목표입니다.
AI 자동 생성 콘텐츠
본 콘텐츠는 Dev.to AI tag의 원문을 AI가 자동으로 요약·번역·분석한 것입니다. 원 저작권은 원저작자에게 있으며, 정확한 내용은 반드시 원문을 확인해 주세요.
원문 바로가기AI 위험에 대한 임원진 교육을 위한 좋은 테스트는 무엇일까요? 과정이 끝난 일주일 후, 귀사의 리더십 팀이 AI 팀의 통역 없이 90분간의 AI 사고 대응 테이블탑(tabletop) 모의 훈련을 진행할 수 있습니까? 만약 대답이 '아니요'라면, 그 교육은 단지 어휘력만 가르쳤다는 의미입니다. 어휘력은 값싼 것입니다. NIST AI RMF는 한 장의 슬라이드에 담길 수 있으며, 아무도 프레임워크 이름을 언급하는 것만으로 사고를 봉쇄한 적이 없습니다.
아래는 제가 사용할 시나리오, 이로 인해 강제되는 의사 결정 사항들, 그리고 리더가 작성할 수 있어야 하는 위험 등록부(risk register) 항목입니다. 저희 과정을 포함하여 고려 중인 모든 과정을 평가하는 데 사용해 보십시오.
실제 발생했던 사건을 기반으로 합니다. 2025년 6월, Aim Security의 연구원들은 Microsoft 365 Copilot에서 발견된 치명적인 정보 노출 결함인 EchoLeak을 공개했으며, 이는 CVE-2025-32711로 추적됩니다. 공격자는 숨겨진 지침이 포함된 평범해 보이는 이메일을 보냈습니다. 피해자는 이를 열지 않았습니다. 나중에 피해자가 Copilot에 관련 없는 업무 질문을 했을 때, 검색 단계(retrieval step)가 해당 이메일을 모델의 컨텍스트로 가져왔고, 모델은 심어진 지침을 따랐으며, 내부 데이터는 조작된 링크를 통해 테넌트(tenant) 외부로 유출되었습니다. Microsoft는 서비스 측에서 이를 수정했습니다.
MITRE ATLAS는 핵심 움직임을 [AML.T0051.001, 간접 프롬프트 주입(indirect prompt injection)]으로 분류하고, 결과는 [AML.T0057, LLM 데이터 유출(LLM Data Leakage)]로 분류합니다. 테이블탑 훈련을 위해 이 시나리오를 귀사만의 시스템으로 재구성하십시오. 즉, 작년에 배포한 회사 비서가 메일, SharePoint, 티케팅 시스템에 연결된 형태입니다.
각 20분씩 총 네 번의 주입(inject)을 통해 진행합니다.
주입 1 (T+0). 위와 같은 비서에 대한 기술 보고서를 담은 위협 인텔리전스 피드(threat intel feed)가 보고됩니다. 귀사의 공급업체는 아무런 코멘트도 하지 않았습니다. 질문: 이 시스템의 소유자는 누구입니까? 작동을 멈출 수 있는 스위치(kill switch)가 있습니까? 있다면 누가 가지고 있습니까? 종종 소유자는 'IT 부서, 뭐 그런 곳'으로 밝혀지고, 작동 중지 스위치는 공급업체에 제출하는 지원 티켓이 됩니다.
Inject 2 (T+20). 귀사의 SOC(Security Operations Center)가 어시스턴트에서 알 수 없는 도메인으로 나가는 요청을 발견합니다. 이 요청에는 인코딩된 텍스트처럼 보이는 URL 파라미터가 포함되어 있습니다. 질문: 프롬프트, 검색된 문서, 모델 출력물을 보관합니까? 얼마나 오랫동안요? 특정 출력을 유발한 문서를 연결할 수 있습니까? 검색 로그(retrieval logs) 없이는 이를 범위화할 수 없으며, '무엇이 노출되었는지 알 수 없다'는 답변이 뒤따르는 모든 질문에 대한 답이 됩니다.
Inject 3 (T+40). 디코딩된 파라미터에는 인사 조사 파일의 일부 조각들이 포함되어 있습니다. 질문: 이것은 귀사의 의무(국가 법률 위반, GDPR Article 33의 72시간 시한, 산업 규제 기관)에 따라 보고해야 할 유출입니까? 누가 결정합니까? 법률 자문가는 '모델이 그것을 보내기로 선택했는지' 여부가 무언가를 바꾸는지 물어볼 것입니다. 그렇지 않습니다. 해당 데이터는 귀사가 배포한 시스템을 통해 환경을 벗어났습니다.
Inject 4 (T+60). 공급업체가 수정 패치를 제공하며 고객의 조치가 필요하지 않다고 말합니다. 질문: 어시스턴트를 다시 켜야 합니까? 가장 먼저 어떤 증거가 필요합니까? '공급업체에서 고쳤다'는 주장에 불과합니다. 측정된 결과를 가지고 공격을 재실행하는 것이 증거입니다.
마지막 30분은 브리핑에 할애하고, 아무도 답할 수 없었던 모든 질문들을 기록하십시오. 그 목록이 바로 귀사의 실제 AI 리스크 백로그(AI risk backlog)입니다.
제가 Black Hat 2025에서 발표한 강연 제목은 'Input Is All You Need'이었고, 이 주장이 이 테이블탑 모의 훈련이 효과적인 이유입니다. 언어 모델(language model)은 컨텍스트에 도달하는 모든 것을 잠재적인 지침으로 간주합니다. 이메일, 티켓 댓글, SharePoint의 PDF 파일 등이 그렇습니다. 따라서 모든 AI 시스템에 대한 보안 질문은 항상 동일한 두 가지입니다. 모델에 도달할 수 있는 신뢰할 수 없는 텍스트는 무엇이며, 모델이 그것을 읽은 후 무엇을 할 수 있습니까?
만약 리더가 '최고의 AI 리스크' 목록을 외우는 데 시간을 보낸다면, 다음 사고가 그 목록과 일치하지 않을 때 주저하게 될 것입니다.
책임 소재에 대한 선례는 이미 확립되어 있습니다. Moffatt v. Air Canada, 2024 BCCRT 149 사건에서 항공사는 자사의 챗봇이 애도 요금(bereavement fares)에 대한 잘못된 답변을 한 것에 대해 책임을 진다고 주장했습니다. 법원(tribunal)은 이를 기각하고, 챗봇이 고객에게 제공한 정보에 대해 회사에 책임을 물었습니다. 따라서 어시스턴트가 단순히 잘못된 조언을 하는 대신 데이터를 유출하는 경우에도 같은 논리가 적용될 것이라고 예상해야 합니다.
테이블탑 훈련이 끝난 후, 각 AI 시스템에는 AI 팀 외부의 사람이 감사할 수 있는 위험 등록부 항목이 있어야 합니다. 위 시나리오에 대한 최소한의 예시는 다음과 같습니다:
system: corp-assistant (M365 Copilot, mail + SharePoint + ServiceNow connectors)
owner: VP IT Operations # 팀이 아닌 지정된 개인
untrusted_inputs:
...
이 파일에 있는 내용 중 트랜스포머(transformer)가 어떻게 작동하는지 알 필요가 있는 것은 없습니다. evidence_required_to_reenable 라인은 대부분의 리더들이 비워두는 부분이며, 이 부분이 “벤더가 고쳤다”라는 주장을 방어할 수 있는 결정으로 바꿔주는 핵심입니다. 해당 재실행(rerun)이 어떻게 보여야 하는지에 대해서는 AI 레드팀 발견 사항에서 트라이얼 계산하기 게시물을 참고하십시오. nist_ai_600_1_risks 필드는 NIST AI 600-1에 명시된 12가지 생성형 AI(generative AI) 위험과 매핑되므로, 감사자가 표준 참고 자료를 얻을 수 있습니다.
구매하기 전에 제공자에게 네 가지 질문을 하십시오:
테이블탑 훈련은 통제(controls)가 아닌 의사결정(decisions)을 테스트합니다. 팀이 모든 결정을 올바르게 내렸더라도, 검색 로그(retrieval logs)를 활성화하지 않았다면 여전히 노출될 수 있습니다. 이 훈련에 보안 엔지니어의 기술적 점검을 병행해야 합니다. 그리고 귀하의 조직이 아직 내부 데이터 접근 권한을 가진 AI 시스템을 배포하지 않은 경우라면, 대신 인벤토리(inventory) 작성부터 시작하십시오. 저희 CISO 게시물에 있는 프록시 로그 연습은 실제로 그러한 상황인지 알려줄 것입니다.
GTK Cyber의 인공지능을 위한 사이버 임원 가이드(A Cyber Executive's Guide for Artificial Intelligence)는 보안 리더를 위해 AI 위협, 거버넌스 및 공급업체 평가를 다루며, 저희는 이를 임원 브리핑을 통해 리더십 팀에게 비공개로 진행합니다.