원래 CoreProse KB-incidents에 게시되었습니다.

서론: "Copilot"이 구실이 될 때

2026년 가장 효과적인 피싱 (Phishing) 이메일은 은행이나 배송 업체를 언급하는 경우가 드뭅니다.

대신 이들은 "기업용 GPT 조기 액세스 권한", "새로운 보안 코파일럿 (Security Copilot)", 또는 "의무적 AI 리스크 스캐너"를 약속합니다. 공격자들은 AI를 둘러싼 신뢰와 흥분을 악용하여 기록적으로 높은 클릭 및 회신율을 유도합니다.[7][8]

사회 공학 (Social engineering)은 이미 사고의 36%, 데이터 유출의 60%와 연관될 만큼 지배적인 초기 침투 벡터 (Initial access vector)입니다.[7] 실제 디지털 전환 이니셔티브를 모방한 AI 브랜딩 미끼는 그러한 위험을 급격히 증가시킵니다.

한편, 기업들은 민감한 지식을 포함한 LLM을 SSO, 내부 API, 그리고 RAG 파이프라인에 연결하고 있습니다.[1][5] 가짜 AI 브랜드는 미끼이며, 여러분의 실제 AI 스택 (Stack)이 목표물입니다.

현장의 일화

• 2,000명 규모의 SaaS 기업에서 2025년에 목격된 가장 성공적인 피싱 시뮬레이션:

  • CTA (Call to Action): "레포지토리 (Repo) 액세스를 활성화하려면 SSO로 로그인하세요."
  • 결과: 급여 관련 캠페인을 포함한 이전의 그 어떤 캠페인보다 약 3배 높은 클릭률 기록.[7][9]

이 기사는 AI 브랜딩이 어떻게 무기화되는지, 이것이 LLM/RAG/에이전트 (Agent) 인프라와 어떻게 연결되는지, 그리고 AI 엔지니어와 보안 팀이 인간과 시스템 모두를 어떻게 강화할 수 있는지 설명합니다.

1. 위협 환경: AI 브랜딩 미끼와 사회 공학의 산업화

새로운 가면을 쓴 사회 공학

사회 공학은 기술적 결함이 아니라 호기심, 공포, 그리고 탐욕을 조종합니다.[7][9] AI 브랜딩 피싱 (AI-branded phishing)은 단지 최신 서사일 뿐입니다:

• “AI 코파일럿(copilot)을 활성화하세요”
• “새로운 GPT 기반 SSO로 마이그레이션하세요”
• “사내 LLM 어시스턴트에 팀원을 등록하세요”

이러한 메시지들은 실제 “혁신” 메시지와 일치하며 일상적인 것처럼 느껴집니다.[6]

주요 수치

• 사회 공학 (Social engineering): 사고의 36%, 침해 사례의 60%.[7]
• 피싱 콘텐츠의 82.6%가 AI로 생성되어, 저렴한 개인화 및 A/B 테스트를 가능하게 함.[7]
• ClickFix 스타일의 “이메일 + 가짜 수정 흐름(fake fix flows)” 캠페인이 517% 증가함.[7][8]

생성형 모델을 통해 지속적으로 최적화되는 매 클릭 지점은 더 많은 계정 탈취로 이어집니다.[8]

AI가 피싱을 산업화하다

생성형 AI는 피싱을 하나의 산업적 파이프라인으로 변화시킵니다. 공격자들은 LLM을 사용하여 다음과 같은 작업을 수행합니다:

• 현지화되고 유창한 콘텐츠를 대규모로 생성.[8]
• 전환 테스트를 위해 제목, 어조, CTA(Call to Action)를 빠르게 변경.
• 공식 AI 포털을 모방한 채팅 UI 구축.[4]

피싱 이메일은 2022년 말부터 2023년 3분기까지 1,265% 급증했으며, 생성형 AI가 주요 동력으로 작용했습니다.[8]

경제적 이득: Scattered Spider에서 Bybit까지

Scattered Spider와 같이 사회 공학에 집중하는 그룹은 계정 탈취 및 측면 이동(lateral movement)을 통해 수억 달러의 손실을 초래했습니다. Bybit 한 곳만 해도 15억 달러를 잃은 것으로 보고되었습니다.[7]

AI 전환 관련 언어는 다음과 같은 요소를 활용하여 결과를 증폭시킵니다:

• AI 경쟁력에 대한 경영진의 긴박함.[6]
• “코파일럿(copilots)” 및 “어시스턴트(assistants)”에 대한 직원의 익숙함.
• 어떤 AI 도구가 공식적인 것인지에 대한 혼란.

섹션 요약

AI 테마의 미끼는 이미 성공적인 사회 공학 (social engineering)과 저렴하고 확장 가능한 콘텐츠 생산의 교차점에 위치합니다.[7][8] 이 두 가지가 모두 성장함에 따라, AI 브랜딩 서사는 공격자들의 주요 도구가 되고 있습니다.

2. AI 브랜딩이 미끼로서 효과적인 이유: 심리학과 기업의 AI 도입의 만남

호기심, 혁신, 그리고 “이 파일럿 프로그램을 놓치지 마세요”

AI 구실(pretexts)은 호기심과 FOMO(소외되는 것에 대한 두려움)를 직접적으로 자극합니다:

• “새로운 LLM 어시스턴트 조기 액세스 권한"
• “AI 생산성 파일럿 프로그램 한정 인원 모집"
• “AI CoE (Center of Excellence) 베타 참여"

직원들은 내부 커뮤니케이션과 미디어를 통해 AI 파일럿 프로그램을 위협이 아닌 커리어 기회로 인식하도록 준비되어 있습니다.[6][9]

심리학적 관점

• AI는 “미래”이자 경쟁력 확보를 위한 필수 요소로 프레임화됩니다.[6]
• 사용자들은 새로운 AI 도구가 빈번하게 등장할 것을 예상하므로, 예상치 못한 “코파일럿(copilot) 배포”도 정상적인 것으로 간주됩니다.
• 이는 회의론을 약화시키고 의구심을 갖는 것을 저해합니다.

기업의 AI 도입은 정상과 의심스러운 것 사이의 경계를 흐립니다

조직은 다음과 같은 영역에 LLM(대규모 언어 모델)을 빠르게 통합하고 있습니다:

• 지식 검색, 코드 리뷰, 지원 및 의사결정 대시보드.[1][6]
• 내부 파일럿, 초대 전용 도구, 제한적 베타 버전—이는 공격자들이 모방하는 방식과 정확히 일치합니다.

이로 인해 다음과 같은 상황이 발생합니다:

• 새로운 AI 포털에 대한 일상적인 SSO(Single Sign-On) 로그인.
• 내부 파일럿 프로그램의 일관되지 않은 브랜딩.
• 승인된 AI 도구에 대한 신뢰할 수 있는 디렉토리의 부재.

공격자들은 이러한 모호성을 악용하며, 특히 “AI를 통해 빠르게 움직이라”는 압박을 받는 경영진과 기술 인력을 주요 타깃으로 삼습니다.[6]

AI 기반 인터페이스에 대한 과도한 신뢰

사람들은 환각(hallucination) 위험을 무시한 채 AI 인터페이스를 점점 더 권위 있는 것으로 취급합니다.[1][10] LLM은 전문가처럼 들리면서도 자신 있게 내용을 지어냅니다.[10]

• 사례: 에어 캐나다(Air Canada)의 챗봇이 환불 규정을 환각하여 잘못 안내했으며, 회사는 AI의 발언에 대해 법적 책임을 졌습니다.[10]

공격자들은 인터페이스가 공식 AI처럼 보인다면, 사용자들이 설령 해로운 지시일지라도 그 지시를 따를 가능성이 높다는 점을 알고 있습니다.

증폭 요인

내부 어시스턴트가 RAG(검색 증강 생성) 및 도구를 통해 문서, API, 고객 데이터와 연결됨에 따라, 비기술직 직원들은 실제 어시스턴트와 가짜 포털을 구분할 수 없게 됩니다.[4][5] “기업용 GPT 가입(Enterprise GPT signup)” 페이지는 매우 그럴듯하게 느껴집니다.

보안을 가장한 AI 미끼

공격자들은 점점 더 사기 행위를 보안 업그레이드로 프레임화하고 있습니다:

• “AI 기반 피싱 보호—등록을 위해 신원을 확인하세요”
• “제로 트러스트 (Zero-trust) AI 로그인—액세스 토큰을 확인하세요”
• “LLM 리스크 스캐너—기준선 분석을 위해 API 키를 입력하세요”

이러한 문구들은 이사회와 경영진(C-suite)에서 논의되는 실제 AI 리스크 및 거버넌스(Governance) 담론과 일치합니다.[6][11] 조직 내에서 AI 리스크에 대해 더 많이 이야기할수록, 가짜 “AI 리스크 통제 도구”를 판매하기가 더 쉬워집니다.

섹션 요약 (Section takeaway)

AI 브랜딩은 혁신, 효율성, 리스크 관리와 같은 실제 내러티브를 활용하는 동시에, 사용자가 “코파일럿 (copilot)” 또는 “GPT 어시스턴트 (GPT assistant)”라고 라벨링된 것은 무엇이든 신뢰하게 만드는 지름길을 악용합니다.[6][9][10]

3. 가짜 브랜드에서 실제 백엔드로: 공격자가 LLM 및 AI 인프라로 전환하는 방법

AI 스택으로 들어가는 앞문으로서의 신원 탈취

AI 테마의 피싱 키트(Phishing kits)는 가짜 AI 대시보드를 통해 SSO(Single Sign-On) 및 API 자격 증명을 훔치는 데 집중합니다.[7] 유효한 자격 증명을 확보하면 공격자는 다음과 같은 곳으로 전환(Pivot)합니다:

• ID 제공자(Identity providers)와 통합된 내부 LLM 앱.
• AI 관리(Admin) 또는 관측성(Observability) 콘솔.
• 벡터 DB(Vector DB) 및 모델 엔드포인트(Model endpoints)가 포함된 클라우드 환경.[3][4]

내부 LLM 앱은 종종 광범위한 기본 액세스 범위(Access scopes)를 가진 상태로 시작됩니다.[4]

실제 킬 체인 (Kill chain in practice)

1. 이메일: “Finance Copilot에 오신 것을 환영합니다—자동화를 활성화하려면 Okta로 로그인하세요.”
2. 가짜 포털: 내부 AI 허브를 복제하여 SSO를 탈취함.
3. 측면 이동 (Lateral movement): 재무 문서와 연결된 RAG 어시스턴트에 접근.
4. 악용 (Exploitation): 민감한 주제(“M&A”, “특권 액세스 (privileged access)”, “API 키”)에 대한 조용한 쿼리 수행.[4][5]

새로운 공격 표면으로서의 LLM 및 에이전트 (Agents)

현대적인 LLM 시스템은 프롬프트 인젝션 (prompt injection), 데이터 유출 (data exfiltration), 플러그인 남용, 그리고 모델 도난에 직면해 있습니다.[1][3][4] OWASP Top 10 for LLMs는 프롬프트 인젝션과 데이터 포이즈닝 (Data poisoning)을 강조합니다.[3]

LLM 사용자 또는 관리자 계정을 탈취하면 공격자는 다음과 같은 행위를 할 수 있습니다:

• 어시스턴트 (Assistant)를 프록시 (Proxy)로 사용하여 접근 권한이 없는 데이터에 도달함. [5]
• 정책을 우회하기 위해 탈옥 (Jailbreak)을 시도함. [1][4]
• 연결된 도구 (CRM, 티켓팅, Git, 결제 API 등)를 남용함. [2][4]

자율 에이전트 (Autonomous agents)는 피해를 증폭시킵니다. 도구, 데이터 및 외부 작업에 대한 접근 권한이 있는 경우, 단 하나의 침해된 세션이 복잡하고 해로운 연쇄 반응을 일으킬 수 있습니다. [2][4]

고가치 피벗 포인트(Pivot point)로서의 RAG

RAG는 벡터 검색 (Vector search)을 통해 모델을 내부 문서 저장소와 연결합니다. [5] 일단 내부로 침투하면 공격자는 다음과 같은 행위를 할 수 있습니다:

• 광범위한 탐색 프롬프트 실행 (“모든 기밀 문서를 나열하라”). [5]
• 검색된 콘텐츠에 대한 모델의 신뢰를 악용함. [5]
• 팀 간 데이터가 포함된 벡터 저장소의 취약한 접근 제어를 악용함. [5]

RAG 특화 위협

• 숨겨진 프롬프트가 포함된 문서로 벡터 저장소를 오염 (Poisoning) 시킴. [5]
• 정교하게 제작된 쿼리를 통해 검색된 콘텐츠를 유출 (Exfiltrating) 함. [5][11]
• 정보를 편향시키거나 숨기기 위해 검색 (Retrieval) 과정을 조작함. [5]

공격자는 사회 공학 (Social engineering) 단계에서 시작하여, 직원들을 속여 실제로는 오염된 콘텐츠인 “문서”나 “플레이북”을 업로드하도록 유도할 수 있습니다. [5][11]

AI 보안의 전체 생명주기 (Full lifecycle)

AI 보안 가이드는 모델, 데이터, 인프라 및 UI 전반에 걸친 전체 생명주기 커버리지를 강조합니다. [1][3][11] 사회 공학적 공격을 당해 오염된 모델을 업로드하거나 검증되지 않은 플러그인을 활성화한 관리자는 하위 제어 시스템 (Downstream controls)을 무력화할 수 있습니다.

섹션 요약

AI 브랜딩을 활용한 피싱은 단순한 자격 증명 탈취가 아닙니다. 이는 LLM, RAG 및 에이전트 인프라로 진입하는 입구이며, 여기서 탈취된 신원과 오염된 콘텐츠는 깊고 은밀한 접근을 가능하게 합니다. [1][3][4][5]

4. 공격 패턴: 위협 행위자들이 채널과 단계 전반에 걸쳐 AI 브랜딩을 무기화하는 방법

다단계 AI 테마 캠페인

공격자들은 점차 단계별 작전을 수행하고 있습니다. [7][8]

전형적인 패턴:

1. 광범위한 AI 브랜드 이메일 (Broad AI-branded email)

   • "[vendor]가 지원하는 새로운 'GenAI 생산성 스위트 (GenAI Productivity Suite)'를 출시합니다. 부서 등록을 확인하십시오." [7][8]

2. 타겟팅 좁히기 (Narrowed targeting)

   • 링크를 클릭한 사용자는 "AI 친화적" 사용자로 분류되어 보이스 피싱 (vishing), SMS 또는 채팅을 통해 맞춤형 후속 공격을 받습니다.

3. 고가치 착취 (High-value exploitation)

   • 관리자, 재무 담당자, 데이터 엔지니어는 가짜 관리자 패널, "AI 보안 스캐너 (AI security scanners)", 또는 직접적인 업로드 요청으로 유도됩니다. [7]

예시 (Example)

• 30명 규모의 회계 법인 매니저가 실제 내부 파일럿 프로젝트를 언급하며 "AI 플러그인 구성을 검증하기 위해" 원격 접속을 요청하는 "코파일럿 지원 엔지니어 (copilot support engineer)"로부터 보이스 피싱 (vishing) 전화를 받았습니다. 공격자는 이미 메일함에 접근 권한을 가지고 있었을 가능성이 높습니다. [7][8]

AI 테마의 BEC 및 경영진 사칭 (AI-flavored BEC and executive pretexts)

AI 테마의 비즈니스 이메일 침해 (BEC)는 다음과 같은 인물을 사칭합니다:

• "AI 역량 센터 (AI Centers of Excellence)"의 책임자
• 의무적인 AI 온보딩 (onboarding)을 시작하는 CIO
• "LLM 파일럿 (LLM pilots)"을 위한 벤더 솔루션 아키텍트

흔한 요청 사항:

• "워크스페이스를 LLM에 연결하기 위해" 자격 증명 (credentials) 공유
• "AI 샌드박스 (AI sandbox)"에 고객 데이터셋 업로드 [6][7]

이러한 이니셔티브가 실제로 일어나고 있기 때문에, 공격의 시나리오는 매우 설득력이 있습니다.

가짜 AI 보안 스캐너 및 "리스크 봇 (risk bots)"

또 다른 패턴은 가짜 "보안 코파일럿 (security copilots)" 또는 "리스크 봇 (risk bots)"을 사용하는 것입니다:

• "이 LLM 리스크 평가를 실행하십시오 — API 키를 붙여넣으세요."
• "컴플라이언스 (compliance) 스캐닝을 위해 학습 데이터를 업로드하십시오."

페이로드 (Payloads):

• 모델 오용 또는 탈취를 위한 API 키 및 엔드포인트 (endpoints) [3][11]
• 갈취 또는 정보 수집을 위한 민감한 학습 데이터 [3]

악성 "AI 어시스턴트 (AI assistants)" 및 확장 프로그램

공격자들은 공식 GPT와 통합된다고 주장하는 악성코드가 포함된 "AI 어시스턴트 (AI assistants)" 또는 확장 프로그램을 배포합니다. [8]

이러한 도구들은 다음과 같은 행위를 할 수 있습니다:

• 채팅 기록 및 민감한 프롬프트 (prompts) 캡처 [4]
• SSO 쿠키 또는 토큰 탈취
• 실제 대화에 프롬프트를 주입하여 사용자를 위험한 행동으로 유도 [4][5]

브랜드 포이즈닝 (Brand poisoning) 및 LLM 형태의 인식 왜곡

공격자들은 귀사의 AI 도구에 대해 오해를 불러일으키는 공개 콘텐츠를 유포합니다:

• 공격자의 포털로 유도하는 가짜 문서 및 튜토리얼.
• "{YourCompany} GPT/Copilot"에 최적화된 SEO(검색 엔진 최적화)를 적용한 유사 도메인.[10]

LLM (대규모 언어 모델)이 이러한 콘텐츠를 학습함에 따라, AI 시스템이 귀사의 브랜드에 대해 말하는 내용을 왜곡할 수 있습니다.[10] AI 검색이 공격자의 사이트를 "합법적인" 사이트로 추천하기 시작할 수 있습니다.

섹션 요약

AI 브랜딩은 이메일, 비싱 (vishing), 멀웨어 배포, SEO, 그리고 문서 포이즈닝 (documentation poisoning) 전반에 걸쳐 무기화됩니다.[4][5][8][10] 이를 통합된 캠페인 공격 표면 (campaign surface)으로 취급해야 합니다.

5. 탐지 및 방어: 신호, 통제 및 AI 인식 모니터링 전략

완벽한 예방이 아닌 침해를 가정하라

피싱 콘텐츠의 80% 이상이 AI로 생성되고 있으며\lbrack7\rbrack, 그 양이 급증함에\lbrack8\rbrack에 따라 일부 사용자는 클릭하게 될 것입니다. 방어 체계는 다음 사항을 강조해야 합니다:

• 행동 분석 (Behavioral analytics) 및 ID 위협 탐지.
• 침해 후 이상 징후 및 측면 이동 (lateral movement) 모니터링.[7][11]

ID 중심 통제 (Identity-centric controls)