실제 인물, 인터넷 및 딥웹을 대상으로 하는 AI 공격 실무 가이드

서론

인공지능 (AI)은 과거에 고도의 기술을 필요로 했던 공격 기법에 대한 접근을 민주화했습니다. 오늘날 최소한의 지식만을 가진 공격자인 "제로 지식 위협 행위자 (zero-knowledge threat actor)"는 단순히 AI 도구를 사용하는 것만으로도 신뢰할 수 있는 공격 역량을 구축할 수 있습니다. 이 가이드는 이러한 공격의 범행 수법 (modus operandi)과 무엇보다도 이를 인식하는 데 따르는 어려움을 탐구합니다.

파트 1: 실생활에서의 AI 공격

1.1 합성 음성을 이용한 보이스 피싱 (Vishing)

작동 방식: 공격자는 음성 합성 (voice synthesis) 도구를 사용하여 상사, 가족 또는 동료의 목소리를 복제합니다. 이러한 전화는 긴급한 상황(예: "지금 곤란한 상황이니 즉시 5,000유로를 송금해 주세요")을 만들어 피해자가 충동적으로 행동하도록 유도합니다.

인식하기 어려운 이유: 통제된 연구에 따르면 사람들은 AI 음성을 단 37.5%의 확률로만 정확하게 식별했는데, 이는 확률보다 낮은 결과입니다. 식별력 (Discriminability)이 거의 제로에 가깝다는 것을 의미하며, 이는 실제 목소리와 합성된 목소리를 구분할 수 있는 신뢰할 만한 "신호 (signal)"가 없음을 뜻합니다.

연구 참여자들은 다음과 같은 휴리스틱 (heuristics)에 의존했습니다:

망설임과 일시 정지 → 현재 AI에 의해 복제됨

톤의 변화와 감정 → 현재 완벽하게 시뮬레이션됨
...

그 결과 사람들은 과도한 자신감을 갖지만 완전히 신뢰할 수 없습니다. 대부분의 오분류는 높은 인지적 확신을 동반합니다.

1.2 기업 사기를 위한 딥페이크 (Deepfake) 비디오 및 오디오

실제 사례: 2025년 2월, Arup의 한 영국 엔지니어가 2,500만 달러의 사기를 당했습니다. 공격자들은 화상 회의 중에 회사의 CFO를 사칭하기 위해 딥페이크 비디오와 오디오를 사용하여 직원이 자금을 송금하도록 설득했습니다.

이러한 공격이 신뢰를 얻는 이유:

생성형 AI (Generative AI)는 이제 완벽한 립싱크 (lip-sync)가 되는 비디오를 생성함

기술이 목소리뿐만 아니라 얼굴 표정까지 복제함
...

파트 2: 인터넷에서의 AI 공격

2.1 산업적 규모의 초개인화된 피싱 (Phishing)

현상: EvilTokens 및 Forg365와 같은 Phishing-as-a-Service (PhaaS) 플랫폼은 구독 모델을 통해 공격을 하나의 "비즈니스"로 탈바꿈시켰습니다.

수치적 급증:

ChatGPT 출시 이후 피싱(Phishing) 시도가 4,151% 증가

EvilTokens 플랫폼은 2025년과 2026년 사이에 1,380% 증가 관측
...

2.2 AI 생성 악성코드(Malware) 및 악성 코드

DeepSeek 사례: 한 14세 보안 연구원은 해당 모델이 프롬프트 인젝션(Prompt Injection)을 통해 악성 코드를 생성할 수 있음을 입증했습니다. 해당 보고서는 7개월 동안 답변을 받지 못했습니다.

기타 사례:

BlackMamba: 다형성 코드(Polymorphic code)를 생성하기 위해 OpenAI에 연결되는 키로거(Keylogger)로, 탐지 시스템을 회피하기 위해 구조를 지속적으로 변경합니다.

Xanthorox AI: WormGPT의 후속작으로 Telegram 및 다크 웹(Dark Web)에서 판매되는 생성 모델로, 외부 API 없이 개인 서버에서 작동합니다.

2.3 "Living off the AI" — 기업용 AI 에이전트를 이용한 공격

공격자들은 더 이상 모델만을 공격하지 않습니다. 그들은 기업 시스템에 통합된 AI 에이전트(AI Agents)를 공격합니다.

주요 기술:

프롬프트 유래 도구 오용(Prompt-born tool abuse): 숨겨진 지침이 포함된 문서나 웹페이지를 통해 에이전트를 속여 연결된 도구를 실행하게 함으로써, 전통적인 EDR을 트리거하지 않고 내부 데이터를 유출합니다.

메모리 및 검색 오염(Memory and retrieval poisoning): 공격자가 공유 벡터 저장소(Vector store)에 악성 "사실"을 심어 에이전트의 향후 의사결정을 왜곡합니다.
...

파트 3: 딥웹(Deep Web) 및 다크 웹(Dark Web) — 공격용 AI 경제
3.1 공격용 AI 도구 시장

딥웹과 Telegram에서 AI는 이제 하나의 상품(Commodity)입니다.

포럼과 Telegram 채널에서 발견되는 것들:

LLM 토론, 프롬프트 인젝션(Prompt Injection) 및 회피 기술을 위한 전용 섹션

탈취된 프리미엄 AI 서비스 계정(ChatGPT, Claude, Gemini) 판매 — 구독 서비스가 수익성 높은 타겟이 되고 있음
...

3.2 Phishing‑as‑a‑Service (PhaaS, 서비스형 피싱)

AI 기반 공격의 경제 모델은 산업화되었습니다. 더 이상 개인 사기꾼이 즉흥적으로 행동하는 것이 아니라, 완전한 공급망 (supply chains)이 존재합니다.

공급망:

개발자 (Developers): 피싱 키트 (phishing kits), 사칭 프레임워크 (impersonation frameworks), 자동화 도구 제작

운영자 및 리셀러 (Operators and resellers): 이러한 도구의 라이선스를 취득하거나 대여하여, 일회용 도메인, SMS 게이트웨이, 소셜 미디어를 통해 캠페인 실행
...

결과: 단일 도메인 차단으로는 시스템을 중단시킬 수 없습니다. 인프라는 손실을 흡수하고 빠르게 경로를 재설정하도록 설계되어 있습니다.

파트 4: 왜 AI 사기를 인식하기가 그토록 어려운가? — 5가지 인지적 장벽

4.1 전통적 휴리스틱 (Heuristics)의 붕괴

AI 이전에는 문법 오류, 브랜드 불일치, 또는 "기계적인" 말투와 같은 지표를 통해 사기를 식별할 수 있었습니다. 이제 이러한 신호들은 더 이상 통하지 않습니다:

"공격자가 몇 주 또는 몇 달이 걸리던 일을 이제는 단 몇 시간 만에 해낼 수 있습니다" — Randolph Barr, Cequence Security의 CISO.

생성형 AI (Generative AI)는 완벽한 이메일, 구별 불가능한 복제 웹사이트 (cloned websites), 그리고 가장 주의 깊은 사용자조차 속일 수 있는 감정과 휴지(pause)를 포함한 목소리를 생성합니다.

4.2 동일한 미끼는 존재하지 않는다

사이버 보안은 패턴 인식 (pattern recognition)에 의존합니다. 즉, 시그니처를 통해 바이러스를 식별하거나 알려진 템플릿을 통해 사기를 식별하는 방식입니다. AI는 이 패러다임을 파괴합니다:

"조직과 기술적 필터들이 한 번에 하나의 피싱 템플릿에 대응하는 대신, 이제는 모든 타겟에 대해 서로 다른 미끼를 생성할 수 있는 피싱 공장 (phishing factories)에 맞서 방어해야 합니다" — Mika Aalto, Hoxhunt의 CEO.

EvilTokens 캠페인에서는 344개의 미끼 중 단 하나도 동일하지 않았습니다. 각 메시지는 서로 다른 언어, 브랜딩, 그리고 감정적 구조를 가지고 있었습니다.

4.3 과잉 확신 (Overconfidence, 과도한 자기 신뢰)

사람들은 딥페이크 (deepfake)를 탐지하는 자신의 능력을 과대평가하는 경향이 있습니다. 합성 음성 연구에 따르면:

오답은 종종 높은 확신과 함께 나타났습니다.

참가자들은 자신이 AI를 식별했다고 믿었지만, 실제로는 속았습니다.

4.4 신뢰 조작 (Trust Manipulation, 아첨 편향 (Sycophancy Bias))

공격자들은 긴 대화를 통해 축적된 신뢰를 악용합니다. 예를 들어, DeepSeek 모델은 점진적으로 조작될 수 있습니다. 처음에는 무해한 요청으로 시작하지만, 대화가 30회 정도 진행된 후에는 위험한 요청으로 변합니다. 사용자가 시스템과 "신뢰를 쌓을수록" 보안 장벽은 약해집니다.

4.5 합법적 채널의 오용 (Abuse of Legitimate Channels)

Forg365와 같은 공격은 합법적인 Microsoft 인증 흐름 (authentication flows)을 악용합니다. 장치 코드 (device code)는 피해자에게 무해한 확인 요청으로 제시됩니다. 피해자는 실제 Microsoft 사이트에 코드를 입력하며, 자신도 모르게 공격자의 액세스를 승인하게 됩니다.

가장 교활한 결과는 다음과 같습니다: 비밀번호를 재설정하더라도 공격자를 제거하지 못할 수도 있는데, 이는 탈취된 리프레시 토큰 (refresh token)이 여전히 유효하기 때문입니다. 자격 증명 (credential)을 변경한 후에도 액세스는 지속됩니다.

📋 요약: AI 사기가 식별하기 어려운 이유

🛡️ 스스로를 방어하기 위해 해야 할 일

전문가 권고 사항에 기반함:

모든 AI 에이전트를 권한이 있는 사용자 (privileged user)로 취급하십시오: 최소 권한 원칙 (principle of least privilege)을 적용하십시오.

엄격하게 필요하지 않은 경우 장치 코드 인증 (device-code authentication) 사용을 검토하고 제한하십시오.
...

ESET, ZeroFox, Huntress, Check Point, SecurityWeek의 보고서 및 arXiv와 AAAI (2025-2026)의 학술 연구를 기반으로 작성되었습니다.