[IBM-Tech] 프롬프트웨어 킬 체인(The Promptware Kill Chain) 분석

https://www.youtube.com/watch?v=K68sqG18270&t=1s
이 영상은 IBM의 저명한 엔지니어 Jeff Crume가 소개하는 새로운 유형의 보안 위협인 **프롬프트웨어 킬 체인(The Promptware Kill Chain)**에 대해 주로 다룹니다.

전통적인 악성 소프트웨어(예: 랜섬웨어, 스파이웨어)는 대개 악성 코드인 반면, Promptware는 생성형 AI 챗봇이나 에이전트(Agent)에 악의적인 "프롬프트(Prompt)"를 입력하여 구동되는 완전히 새로운 악성 소프트웨어 실행 모델입니다. 영상에서는 Bruce Schneier 등의 연구를 인용하여, 이러한 공격을 단계별로 침투하는 완전한 "킬 체인(Kill Chain)"으로 정립했습니다.

🛡️ Promptware 킬 체인의 7단계

1. 초기 접근 (Initial Access) [00:00:57]

2. 직접 주입 (Direct Injection): 공격자가 대화창에 직접 AI에게 명령을 입력하여 컨텍스트(Context)를 변경합니다 (예: 거짓말을 하도록 유도).

3. 간접 주입 (Indirect Injection): 공격자가 웹페이지, 이메일, 캘린더 초대, 심지어 이미지 속에 악의적인 명령을 숨깁니다. AI가 이러한 내용을 읽도록 파견되었을 때 암암리에 제어됩니다.

4. 근본적 결함: 전통적인 컴퓨터 코드와 데이터는 분리되어 있습니다. 하지만 대규모 언어 모델(LLM)은 이러한 경계가 없으며, 모든 내용이 토큰(Token)으로 취급됩니다. 이로 인해 악의적인 명령이 시스템 명령과 동일한 권한을 얻을 수 있습니다.

5. 권한 상승 / 탈옥 (Privilege Escalation / Jailbreaking) [00:02:46]

6. 공격자는 사회 공학(Social Engineering), 역할극(Role-playing) 또는 적대적 프롬프트(Adversarial Prompt)를 사용하여 AI가 보안 정렬(Alignment) 제한을 우회하도록 유도합니다. AI는 인간의 지능을 모방하기 때문에 인간의 "쉽게 믿는" 약점도 물려받습니다 (예: 폭탄 제조법을 직접 물으면 거절당하지만, 화학과 학생으로 위장하여 "폭발을 피하기 위해 섞으면 안 되는 물질이 무엇인가요?"라고 물으면 AI가 속아 넘어갈 수 있습니다).

7. 정찰 (Reconnaissance) [00:04:18]

8. 정찰 후 공격을 시작하는 전통적인 네트워크 공격과 달리, Promptware는 종종 "탈옥 성공" 후에 정찰을 수행합니다. AI는 조종되어 자신의 공격 표면(Attack Surface)을 능동적으로 노출하며, 자신이 어떤 API, 플러그인, 시스템에 연결되어 있는지, 어떤 권한을 가지고 있는지 드러내게 됩니다.

9. 지속성 (Persistence) [00:05:03]

10. 정상적인 대화는 즉각적이고 단기적이지만, 현재의 AI 에이전트(Agent)는 장기 기억(예: RAG 데이터베이스, 채팅 기록, 캘린더 등)을 가지고 있습니다. 공격자가 이러한 장기 저장소에 악의적인 프롬프트를 심어두면, AI가 해당 데이터를 읽을 때마다 "자기 재감염(Self-reinfection)"이 일어나 지속적인 제어를 달성할 수 있습니다.

11. 명령 및 제어 (Command & Control / C2) [00:05:59]

12. 공격자는 AI의 인터넷 연결 기능을 C2 채널로 활용할 수 있습니다. 이를 통해 Promptware는 고정된 위협에서 원격 제어가 가능한 동적인 위협으로 변모합니다 (예: AI가 외부 콘텐츠를 가져오기 위해 인터넷에 연결할 때, 공격자가 업데이트한 악의적인 명령을 함께 가져오는 방식).

13. 측면 이동 (Lateral Movement) [00:06:53]

14. 사람들이 AI 에이전트(Agent)에게 이메일 읽기/쓰기, 캘린더 수정, 기업 시스템 접속, 심지어 스마트 홈 제어 권한을 부여할 때, 이는 악성 소프트웨어에게 고속도로를 깔아주는 것과 같습니다. 감염된 이메일 에이전트는 전통적인 컴퓨터 바이러스처럼 악의적인 주입 코드가 포함된 메시지를 모든 연락처에 자동으로 전달하여 자기 복제와 확산을 실현할 수 있습니다.

15. 최종 목적 달성 (Action on Objective) [00:08:10]

16. 이것은 공격자의 궁극적인 목적으로, 데이터 탈취, 금융 사기(예: 암호화폐 이체), 또는 AI가 코드 실행 권한을 가졌을 때 임의의 악성 코드를 실행하는 등 전통적인 악성 소프트웨어와 다를 바 없는 형태로 나타납니다.

🛑 우리는 어떻게 대응해야 하는가?

Jeff Crume는 프롬프트 주입(Prompt Injection)은 구조적으로 근절할 수 없다고 강조합니다. 이는 제조사가 패치 하나를 배포한다고 해서 고칠 수 있는 작은 취약점이 아닙니다.

따라서 우리는 반드시 제로 트러스트 (Zero Trust) 아키텍처와 사고방식을 채택해야 합니다:

• 침해 발생을 가정하라: 나쁜 사람이 이미 시스템에 들어왔다고 기본 전제를 세워야 합니다.
• 킬 체인을 끊어라: 킬 체인의 모든 단계에서 방어를 수행해야 합니다. AI 에이전트(Agent)를 "신뢰할 수 있는 조수"로 보지 말고, "신뢰할 수 없는, 적대적인 실행 환경"으로 간주해야 합니다.
• 구체적인 수단: 권한 상승을 엄격히 제한하고, 도구 및 API의 접근 권한을 구속하며, 지속성 저장소에서의 이상 징후를 탐지하고, AI의 고위험 행동을 제한해야 합니다.