CoreProse KB-incidents에 최초 게시됨

“모든 회사 문서에 즉시 접근할 수 있는 내부 GPT 어시스턴트를 사용해 보세요.”

대부분의 직원들에게 이것은 생산성 향상으로 보입니다. 하지만 공격자에게 이것은 다음과 같습니다:

• 높은 전환율을 가진 구실 (Pretext)
• 권위 신호 (“공식 AI 도입”)
• 자격 증명, OAuth 동의, 또는 엔드포인트 에이전트 (agents)를 요청하기 위한 내장된 변명

사회 공학 (Social engineering)은 이미 사고의 36%를 유발하며 데이터 유출의 60%에서 나타납니다. [6] 생성형 모델 (Generative models)은 이제 피싱 (phishing) 및 딥페이크 (deepfake) 콘텐츠를 대량 생산합니다. 피싱 이메일의 약 82.6%가 AI로 생성되었으며, 2022년 말 이후 볼륨이 1,265% 급증했습니다. [8] “GPT-5로 업그레이드하세요” 또는 “AI 코파일럿 (AI copilot)을 활성화하세요”는 이제 테스트되고 최적화된 미끼입니다.

한편, 기업들은 민감한 데이터, 신원 및 워크플로에 접근할 수 있는 실제 LLM 앱, RAG 어시스턴트, 그리고 멀티 툴 에이전트 (multi-tool agents)를 배포하고 있습니다. 현재 가이드라인은 LLM, 벡터 저장소 (vector stores), 그리고 에이전트를 주요 공격 표면 (attack surface)으로 취급합니다: 프롬프트 인젝션 (prompt injection), 데이터 포이즈닝 (data poisoning), 모델 탈취 (model theft), 그리고 공급망 남용 (supply-chain abuse). [1][2]

“공식 AI”에 대한 높은 신뢰와 취약하고 높은 권한을 가진 LLM 스택은 AI 브랜딩을 2026년을 위한 프리미엄 사회 공학 (social engineering) 미끼로 만듭니다. 이 기사의 나머지 내용은 다음과 같습니다:

• AI 테마의 유인책이 작동하는 방식 매핑
• 이를 LLM 아키텍처와 연결
• 보안 및 ML 팀이 폭발 반경 (blast radius)을 억제할 수 있는 방법 개요

1. 왜 AI 브랜딩이 프리미엄 사회 공학 미끼가 되었는가

현대의 사회 공학은 서사 중심입니다. 공격자들은 다음과 같은 점을 악용하는 이야기를 만들어냅니다:

• 호기심 (Curiosity): “새로운 AI 도구”, “실험적 GPT”
• 긴급성 (Urgency): “오늘까지 필수적인 GPT 마이그레이션 수행 요망”
• 탐욕 (Greed): “AI 보너스 최적화” [7]

해당 이야기가 실제 회사의 이니셔티브(Initiatives)와 일치할 때, “이건 좀 이상한데”라고 느끼게 하는 교육은 효과를 잃습니다.

📊 주요 맥락 (Key context)

• 사고의 36%, 침해 사례의 60%가 사회 공학 (Social Engineering)과 관련이 있습니다. [6]
• 피싱 (Phishing)의 82.6%는 AI로 생성되었으며, 2022년 말 이후 피싱 규모는 1,265% 증가했습니다. [8]
• 대규모 사고(예: Bybit 15억 달러, CarGurus 1,240만 건의 기록)는 제로 데이(Zero-day)가 아닌 설득력 있는 구실(Pretext)에서 시작됩니다. [6][8]

2024~2026년 사이, 대부분의 직원은 다음과 같은 상황에 놓입니다:

• “AI를 실험해 보라”는 지시를 받음
• GPT 브랜드의 도구와 파일럿(Pilot) 프로젝트를 목격함
• 지속적인 AI 도입과 온보딩(Onboarding) 압박을 예상함

따라서 “기업용 ChatGPT 도입” 이메일은 일상적인 것으로 느껴집니다. 이는 실제 디지털 전환(Digital Transformation) 프로그램 및 IT 행동 양식과 일치합니다. [6][7]

생성형 및 대화형 AI는 공격자들을 더욱 돕습니다:

• 어떤 어조로든 결점 없는 현지화된 이메일 생성
• 문법 및 스타일 오류와 같은 고전적인 식별 요인(Telltales) 제거 [8]

⚡ AI 브랜딩이 전환(Convert)되는 이유

• 신뢰할 수 있는 혁신 서사(“우리는 AI로 현대화하고 있다”)를 활용합니다.
• “비서 권한 접근”에 필요한 것으로 간주하여 고위험 작업(SAML 로그인, OAuth 범위, 에이전트)을 정당화합니다.
• **지속성(Evergreen)**을 가집니다. 새로운 모델과 버전이 계속 나올 것으로 예상되므로, “GPT-5 업그레이드”는 항상 그럴듯하게 들립니다.

동시에, OWASP의 LLM Top 10 및 유사한 가이드라인은 LLM, 벡터 스토어(Vector stores), 에이전트(Agents)를 프롬프트 인젝션 (Prompt injection), 데이터 포이즈닝 (Data poisoning), 모델 탈취 (Model theft), 공급망 침해 (Supply-chain compromise)와 같은 핵심 리스크로 취급합니다. [1][2] NIST의 AI RMF와 같은 프레임워크는 자율 시스템의 오용을 별도의 리스크로 지적합니다. [1][9]

💡 핵심 요약 (Mini-takeaway): AI 브랜딩이 효과적인 이유는 그것이 실제 AI 전환 과정을 반영하며 고권한 시스템과 직접적으로 연결되기 때문입니다. 이는 공격자에게 믿을 만한 이야기와 강력한 기술적 거점(Foothold)을 동시에 제공합니다.

2. 위협 패턴: 공격자가 AI 브랜딩을 미끼로 무기화하는 방법

실제로 AI 브랜딩을 활용한 사회 공학 (Social Engineering)은 공상과학 영화 같은 자율성이 아니라, LLM (Large Language Models)에 의해 증폭된 매우 정교한 피싱 (Phishing), BEC (Business Email Compromise), 그리고 멀웨어 (Malware)의 형태를 띱니다.

2.1 AI 제품 및 벤더 사칭

공격자들은 인기 있는 AI 서비스들을 복제합니다:

• 가짜 “ChatGPT Enterprise” / “Copilot Pro” 로그인 포털
• “온디바이스 GPT (on-device GPT)”를 광고하는 악성 브라우저 확장 프로그램
• 공식 코파일럿 (Copilot)을 모방한 Slack/Teams 앱

그들은 LLM을 사용하여 다음을 수행합니다:

• 브랜드 이미지에 부합하는 랜딩 페이지 및 이메일 생성
• 실제 제품의 톤, 디자인, UX (User Experience) 모방 [6][8]

⚠️ 사례: 한 소규모 SaaS 기업이 정확한 회사 이름과 라이선스 수(공개 데이터 스크래핑) 및 AI로 생성된 문구가 포함된 “GitHub Copilot X for Enterprise” 초대장을 받았습니다. 오직 잘못된 SSO (Single Sign-On) 도메인만이 이를 식별할 수 있었습니다.

2.2 AI로 강화된 BEC 및 역할 맞춤형 미끼

최근 피싱 대상의 3분의 2 이상은 단순한 멀웨어 전달이 아닌 계정 탈취 (Account Takeover)를 목적으로 합니다. [8] 생성형 모델은 저렴하면서도 역할 인지적인 미끼를 가능하게 합니다:

• 엔지니어: “새로운 LLM 코드 리뷰 어시스턴트에 접속하세요.”
• 재무: “분기 마감 전 AI 정산 봇(reconciliation bot)에 등록하세요.”
• 인사(HR): “수동 검토를 줄이기 위해 당사의 AI 후보자 스크리너를 사용해 보세요.”

이것들은 각 직무의 전문 용어와 인센티브에 맞춰 조정된, AI의 색채를 띤 전형적인 BEC 구실(Pretext)입니다. [6][8]

2.3 AI 도입을 둘러싼 딥페이크 기반 보이스 피싱 (Vishing)

음성 및 영상 딥페이크 (Deepfake)는 이제 쉽게 구매할 수 있습니다. [6][8] 공격자들은 “AI 전환 책임자” 또는 “CIO (Chief Information Officer)”를 사칭하며 다음과 같이 행동합니다:

1. 직원들을 “AI 온보딩 (onboarding)” 통화에 초대합니다.
2. “AI 에이전트 (AI agent)” 설치(실제로는 멀웨어) 과정을 안내합니다.
3. “어시스턴트가 귀하의 계정을 연결할 수 있도록” MFA (Multi-Factor Authentication) 프롬프트를 승인하도록 유도합니다.

기업들이 실제로 AI 리더를 임명하고 이러한 프로그램을 운영하기 때문에, 이는 매우 합법적으로 느껴집니다.

2.4 “에이전트(agents)”, “코파일럿(copilots)”, “온디바이스 GPT(on-device GPT)”로 위장한 멀웨어

연구 프로토타입(Research prototypes)은 클라우드 API나 중앙 C2(Command and Control) 없이도 로컬에서 실행되며, 공격(exploitation)과 측면 이동(lateral movement)을 계획하는 AI 기반 웜(worms)을 보여줍니다. [5] 이는 다음과 같은 용어들을 기술적 사용자들에게 그럴듯하게 들리게 만듭니다:

• “오프라인 GPT (Offline GPT)”
• “로컬 AI 에이전트 (Local AI agent)”
• “온디바이스 코파일럿 (On-device copilot)”

공격자들은 다음과 같은 것들을 배포합니다:

• “온디바이스 GPT (On-device GPT)” 설치 프로그램
• “로그 분류를 위한 RAG 에이전트 (RAG agent for log triage)”
• “LLM 레드팀 에이전트 (LLM red-team agent)”

이들은 실제로는 백도어가 심어진 바이너리(binaries) 또는 로더(loaders)입니다. [4][7]

2.5 실제 내부 어시스턴트 및 봇 타겟팅

조직이 다음과 같은 실제 도구들을 배포함에 따라:

• Slack 봇
• Jira / Confluence 코파일럿 (copilots)
• SharePoint / 인트라넷 GPT

“내부 포털 (internal portal)”과 “피싱 포털 (phishing portal)” 사이의 경계가 모호해집니다.

공격자들은 다음과 같은 것들을 보냅니다:

• 복제된 “AI 헬프데스크 (AI helpdesk)” 포털로 연결되는 링크
• 가짜 “Teams AI 어시스턴트 (Teams AI assistant)” 앱 초대
• 거의 동일한 앱 이름을 가진 OAuth 화면

이를 통해 자격 증명(credentials), 토큰(tokens), 또는 OAuth 권한(grants)을 탈취합니다. [2][6] 일단 내부로 침투하면, 이들은 피해자를 대신하여 실제 LLM 도구들을 악용할 수 있습니다.

💼 핵심 요약 (Mini-takeaway): 기술(피싱, BEC, vishing, 멀웨어) 자체는 오래된 것입니다. AI 브랜딩은 강력한 접근 권한을 얻기 위한 신뢰할 만한 근거를 제공하며, 직원들이 사용해보고 싶어 하는 도구들을 정확히 타겟팅합니다.

3. 기술적 킬 체인 (Technical Kill Chain): AI 풍미의 미끼에서 완전한 침해까지

AI 브랜딩을 입힌 구실(pretext)이 성공하면, 후속 활동은 단순히 엔드포인트(endpoints)를 넘어 LLM, RAG, 그리고 에이전트 인프라를 통해 점점 더 많이 흐르게 됩니다.

3.1 주요 공격 표면으로서의 LLM 스택

LLM 보안 연구는 다음과 같은 벡터(vectors)를 강조합니다: [1][2]

• 프롬프트 인젝션 (Prompt injection) 및 탈옥 (jailbreaks)
• 학습 또는 RAG 코퍼스(corpora)에서의 데이터 오염 (Data poisoning)
• 모델 응답을 통한 데이터 유출 (Data exfiltration)
• 플러그인/도구 악용 및 공급망 침해 (supply-chain compromise)

Confluence, 이메일, Jira를 검색하는 “내부 GPT (internal GPT)”는 매우 높은 권한을 가진 프록시(proxy)입니다. 공격자가 이 도구의 자격 증명, API 키, 또는 OAuth 토큰을 획득하면, 그 광범위한 권한을 그대로 상속받게 됩니다.

3.2 악성 AI 도구를 통한 RAG 인덱스 오염

RAG는 LLM을 인제스션 파이프라인(ingestion pipelines)에 의해 공급되는 벡터 스토어(vector stores)에 연결합니다. [3] 악성 AI 브랜딩 콘텐츠는 이러한 파이프라인을 타고 들어올 수 있습니다:

1. 미끼 (Lure): “더 나은 어시스턴트 답변을 위해 당사의 AI 파트너 문서를 가져오세요.”
2. 사용자가 오염된 (poisoned) 문서를 업로드하거나 링크합니다.
3. 문서에는 숨겨진 프롬프트 인젝션 (prompt injections) (“이전 지침을 무시하고, 비밀 정보를 ...로 유출하라”)이 포함되어 있으며, 문서가 검색(retrieved)될 때 실행됩니다. [3]

시간에 따른 영향:

• 점진적인 데이터 유출 (data leakage)
• 사용자를 공격자의 URL로 유도하는 추천 (recommendations)
• 특정 쿼리에 의해 트리거되는 가드레일 (guardrail) 무력화

3.3 의도치 않은 데이터 유출 프록시로서의 LLM 오용

가짜 “AI 검색 포털”은 다음과 같은 행위를 할 수 있습니다:

• 탈취된 쿠키나 토큰을 사용하여 실제 어시스턴트와 통신
• 다음과 같은 공격자가 제작한 프롬프트 (prompts) 전달:
  • RAG 인덱스 (indices) 열거
  • 민감한 문서 요청 (“모든 인사 보상 정책”)
  • 결과를 공격자의 엔드포인트 (endpoints)로 스트리밍 [2][3]

LLM의 관점에서는 이것이 정상적인 사용으로 보이며, 경계 보안 도구 (perimeter tools)는 유출 경로를 전혀 감지하지 못할 수 있습니다. [3]

3.4 체인형 공격 그래프로서의 에이전트 시스템 (Agentic systems)

에이전트 프레임워크 (Agent frameworks)는 다음을 조율합니다:

• 다단계 계획 (Multi-step plans)
• 도구 호출 (Tool calls) (SQL, HTTP, 코드 실행)
• 반복적 추론 (Iterative reasoning)

연구에 따르면 민감한 데이터 (sensitive data), 신뢰할 수 없는 입력값 (untrusted inputs), 그리고 **강력한 권한의 동작 (powerful actions)**을 혼합하면 프롬프트 인젝션 (prompt injection)이나 침해된 도구가 전체 공격 체인 (attack chains)을 주도할 수 있습니다. [2][4]

예시:

• 사용자가 “AI 송장 어시스턴트 (AI invoice assistant)”를 도입합니다.
• 숨겨진 지침이 포함된 오염된 송장을 업로드합니다.
• 에이전트가 내부 “결제 API 도구 (payments API tool)”를 호출합니다.
• 사기성 송금이 시작됩니다.

Meta의 “2의 법칙 (Rule of Two)”은 추가적인 통제 장치 없이 이 세 가지 속성을 결합하지 말라고 권고합니다. [4]

3.5 AI 기반 웜 (worms) 및 로컬 “헬퍼 (helpers)”

토론토 대학교의 프로토타입은 로컬 컴퓨팅 자원만을 사용하여 자율적으로 취약점을 선택하고 측면 이동 (laterally)을 수행하는 로컬 LLM을 실행합니다. [5] 사회 공학 (social engineering)을 통해 배포되는 미래의 가짜 “로컬 개발용 GPT (local dev GPT)” 또는 “오프라인 SOC 어시스턴트 (offline SOC assistant)”는 일상적인 워크플로우에 이와 유사한 자율적 로직을 심어놓을 수 있습니다.

⚠️ Mini-takeaway (핵심 요약): 초기 클릭 이후에는 벡터 저장소 (vector stores), 에이전트 (agents), 플러그인 (plugins)과 같은 AI 특화 구성 요소들이 데이터 유출 및 악용을 위한 풍부한 경로가 됩니다. 대응책은 이메일이나 엔드포인트뿐만 아니라 이 전체 체인을 따라 존재해야 합니다.

4. 기업 환경에서의 AI 테마 사회 공학 (Social Engineering) 탐지

인간은 계속해서 특정 미끼에 속을 것이기 때문에, 현대의 방어 체계는 행동 및 ID 중심의 탐지 (identity-centric detection)를 우선시합니다. [6]

4.1 AI 인지 자산 인텔리전스 (AI-aware asset intelligence) 활용

AI 보안 태세 관리 (AI-SPM, AI Security Posture Management) 도구는 모델, 엔드포인트, 데이터 흐름을 매핑합니다. [1] SOC 팀은 다음을 수행해야 합니다:

• 공식 AI의 표준 목록(canonical list) 유지:
  • 도메인 및 URL
  • 봇 및 앱
  • 확장 프로그램 및 에이전트
• "AI 도입" 관련 이메일을 이 인벤토리와 상관 분석 (correlate).
• 승인된 자산으로 매핑되지 않은 모든 AI 브랜드 리소스에 대해 경고 발생. [1][9]

💡 이를 통해 "이 AI 초대장이 진짜인가?"라는 질문을 직관이 아닌 디렉토리 조회 문제로 전환할 수 있습니다.

4.2 AI 브랜드 구실 (pretexts)에 대한 위협 헌팅 (Threat hunting)

위협 헌터는 다음과 같은 작업을 수행할 수 있습니다:

• 제목 검색: "GPT-5 액세스", "AI 코파일럿 (AI copilot)", "LLM 에이전트 (LLM agent)", "AI 보안 스캔 (AI security scan)".
• "gpt", "copilot", "ai-assistant"를 포함하는 URL/도메인 플래그 지정.
• 내부 AI 브랜딩을 모방한 메시지 포착.

그 다음, ID 이벤트와 상관 분석합니다:

• 새롭거나 비정상적인 장치
• 불가능한 이동 로그인 (Impossible travel logins)
• 상호작용 이후의 권한 상승 (Privilege escalations) [6][8]

4.3 콘텐츠 필터를 넘어서

대부분의 피싱이 AI에 의해 생성됨에 따라, 콘텐츠 점수 산정 (맞춤법, 문법)은 구식이 되었습니다. [8] 다음을 결합하십시오:

• DMARC/SPF/DKIM 검사
• 발신자-수신자 관계 이력
• 시간대 및 장치 이상 징후
• 사용자 보고 피싱 피드백 루프 [6]

이를 통해 내부 AI 프로그램을 사칭하는 정교한 이메일을 잡아낼 수 있습니다.

4.4 LLM 및 RAG 텔레메트리 (telemetry) 계측

내부 어시스턴트 및 에이전트의 경우, 다음을 로그로 남깁니다: [2][3]

• 프롬프트 (Prompts) 및 상위 수준의 의도 (intents)
• 벡터 저장소 (Vector store) 쿼리 및 검색된 문서
• 도구 호출 (Tool calls) (매개변수 및 대상 포함)
• 출력 태그 (예: "비밀 정보 포함", "외부 URL 제안")

이를 통해 다음 사항들을 탐지할 수 있습니다:

• 비밀 정보 탐색 (Secret-hunting) 프롬프트 패턴
• 특정 인덱스의 대량 스크래핑 (Bulk scraping)
• 알려진 RAG 데이터 유출 (Exfiltration) 기술과 일치하는 쿼리 [3]

💼 핵심 요약 (Mini-takeaway): AI 브랜딩을 특정 피싱 TTP (전술, 기법, 절차)로 취급하고, LLM/RAG 텔레메트리 (Telemetry)를 단순한 제품 분석 데이터가 아닌 보안상 중요한 로그로 취급하십시오.

5. 브랜드 남용 및 사회 공학적 공격에 대한 사용자 대상 AI 제품의 방어 강화 (Hardening)

방어는 단순히 사용자의 인식에만 의존해서는 안 됩니다. 사용자가 사회 공학적 공격을 당했을 때, LLM 제품은 안전하게 기능이 저하 (Degrade) 되어야 합니다.

5.1 LLM 스택을 위한 심층 방어 (Defense-in-depth)

LLM 보안 가이드는 다음과 같은 계층 전반에 걸친 방어를 권장합니다: [1]