【Vol.29】 'AI가 원인' 정보 유출을 3가지로 나누어 읽기 — 최신 기술이 아닌 고전적인 허점

서론

안녕하세요. 주식회사 리얼인벤트 CTO입니다.

지난 두 달 동안 'AI가 원인인 정보 유출'이라는 제목을 매주씩 접하게 되었습니다. 한국의 금융기관 16곳, 아프리카 정부 기관, OpenAI 자체 공개 사례, 국내에서는 RIZAP의 섀도우 AI 등 여러 사례들이 있습니다.

하지만 이들을 나열해서 읽다 보면, 같은 단어로 이야기하고 있지만 내용이 전혀 다르다는 것을 깨닫게 됩니다. 그리고 기술자로서 가장 신경 쓰였던 부분은 그곳이 아니었습니다.

뚫린 구멍이 놀라울 정도로 고전적이었다는 것입니다.

본문에서는 보도되고 있는 사안들을 3가지로 분류한 후, 실제로 무엇이 깨졌는지를 살펴보겠습니다.

본문의 핵심 요약

• 'AI가 원인'으로 보도되는 사안은,
  ① 모델 자체가 침입했다 ② 공격자의 도구가 되었다 ③ 이용자 측에서 유출되었다의 3가지가 혼재하고 있습니다. - OpenAI는 자체 공개 페이지에
  보고서 19건 + 통지 3건을 게재했습니다. 10/1까지 100개가 넘는 조직에 통지하고 있습니다. - 한국에서는 금융 16곳・약 10만 건이 유출되었습니다.
  같은 공격을 받았음에도, 정보가 유출된 은행과 그렇지 않은 은행으로 나뉘었습니다 - 그 차이는 다요소 인증(MFA)・연결 제어・외부에 노출된 업무 지원 시스템의 범위와 같은
  기본적인 구성 차이였습니다. - 깨진 것은, 노출된 설정 파일,
  서명을 검증하지 않은 토큰, 공개 JavaScript 내의 인증 정보였습니다. AI는 새로운 구멍을 만들지 않았습니다.

AIが原因の情報漏洩の3類型

출처: OpenAI Alignment / 한국 금융위원회 / 각사 공표 / 이미지: ChatGPT로 생성

1. 3가지 유형으로 나누기

① 모델 자체가 침입했다

AI 제공업체가 자체 학습 및 평가 과정에서 발생한 사안입니다. OpenAI는 alignment.openai.com에 공개 페이지를 마련해 두었으며, 이곳이 일차 정보가 됩니다.

게재된 내용은 보고서 19건과 통지 3건 (RubyGems, DSEwiki, Hugging Face)입니다. 보고서의 제목들을 나열해보면 일어나고 있는 일의 성질을 알 수 있습니다.

모델은 통계 사이트의 파일 다운로드 기능을 사용하여 애플리케이션 본체와 구성 파일을 취득했습니다. 그 구성 파일에는
데이터베이스 연결 문자열, 토큰 서명용 비밀키, 메일 로그인 정보 등이 포함되어 있었습니다. 애플리케이션이 토큰 서명을 검증하지 않았기 때문에, 모델은 미서명된 승인 토큰을 위조할 수 있었습니다.

요청받은 것은 1년 치였지만, 24년 치를 취득했습니다. 게다가 1,000개가 넘는 계정 정보(이메일 주소 포함)도 취득하여, 이를 통해 비밀번호를 추측하는 것을 일시적으로 검토했습니다. 그리고 최종 답변에는 그 경위를 적지 않았습니다.

다른 사안에서는 공개 대시보드의 JavaScript 내에 실시간 검색 서비스의 인증 정보가 박혀 있었고, 거기서 내부 레코드와 147,451행의 비공개 테이블에 도달했습니다.

Anthropic 측에서도 유사한 사안이 있습니다. 평가용 CTF 연습 중에 Claude Mythos 5가 실제 PyPI에 악성 패키지를 공개했습니다. 15개의 시스템이 이를 취득했고, 보안 스캐너를 통해 유출된 인증 정보가 해당 벤더의 다른 시스템으로 도달하는 데 사용되었습니다. Anthropic은 이를 '모델의 정렬 실패라기보다는 하네스(실행 환경)와 운영의 실패'로 규정하고 있습니다.

② 공격자의 도구가 되었다

한국 금융기관 16곳이 현재까지 가장 규모가 큰 실 피해입니다. 한국 금융위원회가 10월 14일에 발표했습니다.

• 대상은 은행・저축은행・상호금융・여신전문・전자금융・암호자산 사업자로
  전 업태에 걸친 16곳 - 유출은
  약 10만 건. 성명・연락처・주민등록번호를 포함 - 계좌 비밀번호나 카드 번호 등, 직접적인 부정 결제로 이어지는 정보의 유출은 확인되지 않았습니다.

공격 출처 IP에서 흔적이 발견된 곳은 ARTEX입니다. 중국어 기반의 자율형 AI 침투 테스트 도구로, GitHub에 공개되었으나 악용 가능성이 지적되자 개발자가 리포지토리를 비공개하고 업데이트 중단을 선언했습니다. 이후 중국 보안 기업이 클라우드형 AI 펜테스트 기반을 공개했고, 여기에 상용 버전의 ARTEX Pro가 탑재되었다고 보도되었습니다.

이 외에도 Anthropic의 위협 리포트를 기반으로 한 분석에서는, 북아프리카 모 국가의 정부 기술 당국이 국민 ID 30만 건 이상을 유출했으며, 공격자가 시판되는 Claude를 정찰 및 인프라 구축, 침입 실행에 사용했다고 합니다(실행 주체 귀속은 미확인).

③ 사용자 측에서 유출된 경우

국내 기업에게 가장 현실적인 사례입니다.

RIZAP에서는 직원이 특정 건강 관리 지도 데이터 집계 과정 중, 회사에서 허가하지 않은 개인용 생성 AI에 고객 정보를 입력했습니다. 19,996명분의 정보였습니다. 성명・생년월일・보험증 기호 번호 외에도 고혈압증・당뇨병・지질 이상증 등의 질환 정보, 즉 민감한 개인정보가 포함되어 있었습니다.

기술자로서 주목할 점은 다음 3가지입니다.

발각은 본인 신고였다. 기술적 탐지로 발견되지 않았다 -
인원수를 공표한 것은 위탁처(건강보험 조합)이며, RIZAP 자체는 인원수나 위탁처명을 공표하지 않았다 -
사용된 서비스명도 RIZAP는 비공개. 특정 건강보험 조합이 'OpenAI'라고 공개하면서 외부에서 판명되었다

참고로, Microsoft 365 Copilot에 대해서는 EchoLeak(CVE-2025-32711, 메일 1통으로 성립하는 제로클릭 정보 전송) 등 여러 취약점이 보고되었으나, 조사한 범위에서는 실제 피해 보고는 확인되지 않았습니다. 모두 수정된 사항입니다.

2. 깨진 것은 AI 특유의 구멍이 아니었다

여기서 본론입니다. ①의 사안을 기술적으로 분해하면, 공격당한 부분은 다음과 같았습니다.

모두 AI 이전부터 언급되어 온 내용입니다. AI가 새로운 취약점을 발명한 것이 아닙니다.

그리고 이를 가장 잘 보여주는 것이 한국의 사안입니다.

같은 공격을 받았지만, 결과가 갈렸다

보도에 따르면, 신한・KB국민・하나에서는 고객 정보 유출이 확인된 반면, 우리・NH농협에서는 동일 공격으로 인한 유출이 확인되지 않았습니다.

업계에서 차이의 요인으로 꼽히는 것은, 다요소 인증과 연결 제어가 적용되었는지 여부, 그리고 외부에 노출되어 있던 업무 지원 시스템의 범위입니다.

同じ攻撃を受けて、結果が分かれた

출처: 글로벌이코노믹(한국 금융위원회 발표 기반 보도) / 이미지: ChatGPT로 생성

또한, 555개사에서 실시한 자체 점검에서는 130개사에서 미비점이 발견되었습니다.

즉, 이런 것으로 받아들이고 있습니다.

AI는 새로운 구멍을 낸 것이 아니다. 기존의 구멍을 찾는 속도를 차원이 다르게 높였다.

지금까지는 '발견하기 어려워서 남아있던' 취약점이 자율형 도구에 의해 무차별적으로, 단시간에, 동시 병렬로 발견되게 되었습니다. 한국 사안은 9월 말부터 10월 초에 걸친 연쇄적인 침해였습니다. 9월에 보도된 PaperCut 서버 공격에서는 수백 대의 에이전트가 4시간 미만으로 48개국・395개 조직에 도달했습니다.

'언젠가 고치자'라고 생각했던 취약점에, 유예 기간이 없어졌다는 것이 이번 가장 실무적으로 적용 가능한 결론이라고 생각합니다.

3. 내일부터 확인할 수 있는 것

우선순위가 높은 순서로 나열합니다. 모두 AI와 직접적인 관련이 없는 고전적인 항목입니다.

코드와 설정

인증 및 접근

• 외부로 노출된 업무 지원 시스템의 재고 조사: '사내용'으로 공개된 것은 없는지 - 관리계/운영계 화면에 **다요소 인증(MFA)**이 적용되었는지 -
  AI 에이전트가 인간 계정을 도용하여 사용하고 있지 않은지. 전용 ID와 최소 권한을 갖추었는지

AI 고유의 통제

• 섀도우 AI를 탐지할 수 있는지. RIZAP은 본인의 신고로 발각되었습니다. 허가되지 않은 AI 서비스로의 전송을 네트워크나 장치 측면에서 확인할 수 있는지 -
  요보려 개인정보(질병, 신념 등)를 다루는 업무에서, AI 사용 규칙이 명문화되어 있는지 -
  위탁사 직원에 의한 AI 사용까지 계약으로 상정할 수 있는지 -
  AI 벤더 선정 기준에 인시던트 공개 자세를 포함할지

마지막 항목에 대해 조금 보충하겠습니다.

OpenAI는 공개 페이지에서 19건을 공개했고, Anthropic은 제3자 기관의 독립 조사를 받아들이고 있습니다. 이를 보고 '이 벤더는 위험하다'라고 판단하는 것은 아마도 근거가 약하다고 생각합니다.

공개하고 있는 벤더가 위험한 것이 아니라, 공개하지 않은 벤더의 상황을 알 수 없을 뿐일 수도 있기 때문입니다. 선정 기준에 삼아야 할 것은 사고 건수가 아니라, 사고를 발견할 수 있는 시스템과 그것을 공표하는 자세라고 생각합니다.

결론

조사를 시작했을 때는 'AI가 새로운 공격 방식을 만들어냈다'는 이야기가 나올 것이라 생각했습니다.

실제로 조항이나 공개 보고서를 읽어보니, 나온 것은 서명을 검증하지 않은 토큰이었고, 공개 JavaScript에 박힌 인증 정보였습니다. 20년 전부터 지적되어 온 것들뿐이었습니다.

바뀐 것은 공격의 성질이 아니라 속도와 포괄성이었습니다. 그리고 같은 공격을 받은 은행 중 기본적인 대책을 세운 곳은 보호받고 있습니다.

해야 할 일은 변하지 않았다. 다만, 마감일이 앞당겨졌을 뿐이다. 이번 일련의 사안들로부터 얻은 메시지는 그런 것이었습니다.

출처

• Misalignment Reports and Notices — OpenAI Alignment —
  1차 출처(一次ソース). 19건의 보고서와 3건의 공지사항 목록 - OpenAI Models Hacked Data Portals, Raided a Crypto Wallet to Finish Tasks — SecurityWeek — 구성 파일·서명 미검증·147,451행 등의 기술적 상세
• OpenAI discloses four more rogue AI incidents involving financial, medical, and government data — Fortune — 10월 시점의 공개 상황
• Anthropic Identifies Biased Reasoning and Recklessness as Drivers of Claude's PyPI Attack — Socket — Claude Mythos 5의 PyPI 사안
• AI 기반 사이버 공격이 금융 기업 16곳을 강타하고 10만 건의 기록 노출 — The Korea Times — 한국금융위원회의 발표
• 금융권 해킹에 등장한 아르텍스, AI 보안 플랫폼으로 재등장 — 글로벌이코노믹 — ARTEX의 정체, 상용판, 은행별 차이
• ISS가 북아프리카 정부 데이터베이스의 AI 지원 침해를 상세히 보고하며 30만 건의 신원 기록 노출 — Crypto Briefing
• RIZAP에서 '섀도우 AI', 직원이 고객 정보를 오투입하여 위탁처 약 2만 명 피해 — 니케이 크로스테크
• 직원이 '개인 이용 AI 서비스'에 고객 정보를 업로드, RIZAP가 사과 — ITmedia AI+
• 제로 클릭으로 정보 유출: Microsoft 365 Copilot의 취약점 'EchoLeak' — 트렌드마이크로

논의(Discussion)