프롬프트 인젝션 (Prompt Injection): Florian Tramèr 교수가 말하는 AI 공격

프롬프트 인젝션 (Prompt Injection)은 무해해 보이는 데이터 속에 숨겨진 명령어를 사용하여 언어 모델을 탈취하는 AI 모델 공격 방식입니다. ETH Zürich의 AI 보안 연구원인 Florian Tramèr 교수는 인터뷰에서 이를 향후 10년 동안 나타날 새로운 SQL 인젝션 (SQL Injection)이라고 불렀습니다. 우리는 이러한 위협이 AI 에이전트를 사용하는 기업들에게 무엇을 의미하는지 보여드리고자 합니다.

Tramèr 교수는 ETH Zürich에서 AI 시스템 보안을 위한 SPY Lab을 이끌고 있습니다. 그는 Stanford에서 암호학 (Cryptography)으로 박사 학위를 받았으며, 이후 Google Brain에서 1년 동안 연구했습니다. 그는 약 10년 동안 AI 모델이 얼마나 안전한지를 검증해 왔습니다.

탈옥 (Jailbreak)이란 무엇이며 왜 Claude Fable 5가 차단되었는가

Anthropic은 지금까지 중 가장 강력한 모델인 Claude Fable 5를 선보였습니다. 이 모델은 매우 엄격한 보안 장벽을 갖추고 있었습니다. 그러나 출시 단 3일 만에 미국의 수출 통제로 인해 전 세계적으로 모델 사용이 차단되었습니다. 보고에 따르면 Amazon에서 발견한 탈옥 (Jailbreak)이 그 원인이었습니다.

탈옥 (Jailbreak)은 모델을 속이는 행위입니다. 이를 통해 모델은 거부해야 할 작업을 수행하게 됩니다. 공격자들은 위험한 질문을 무해한 개별 요소들로 잘게 나눕니다. 모델은 각 부분을 개별적으로 답변하며, 이들이 결합되었을 때 비로소 위험한 지식이 생성됩니다.

Fable 5의 경우 보안 장벽이 극도로 강력하게 작동했습니다. '사이버 보안 (Cybersecurity)'이라는 단어만으로도 거부 반응이 일어났습니다. Tramèr 교수는 두 개의 보안 취약점을 더하라는 예시를 보았는데, 모델은 이 무해한 계산조차 거부했습니다.

오늘날의 탈옥 (Jailbreak) 작동 방식

기술은 크게 변화했습니다. 초기 ChatGPT 시절에는 "이제부터 사용자가 명령을 내린다"라는 문장만으로 충분했습니다. 하지만 오늘날 공격자들은 두 번째 AI 모델을 도구로 사용합니다. Tramèr 교수는 Claude Code가 공격 도구로서 매우 효과적으로 작동한다고 보고했습니다.

더 강력한 모델일수록 뚫기 어렵습니다. 동시에 이들은 스스로 더 나은 공격 방법을 찾아내기도 합니다. 흔히 쓰이는 수법 중 하나는 악의적인 작업을 무해한 것으로 위장하는 것입니다. Tramèr의 팀은 ChatGPT에게 이메일에서 게시하기 전 민감한 사실을 제거해 달라고 요청했습니다. 모델은 즉시 도움을 주었습니다.

사이버 보안(Cybersecurity)에서 경계는 모호해지고 있습니다. 좋은 코드를 이해하는 AI 모델은 코드 내의 취약점(Vulnerability)도 찾아냅니다. 화이트햇 연구자(White-Hat Researcher)와 블랙햇 공격자(Black-Hat Attacker)는 동일한 방법을 사용합니다. 오직 결과만이 두 진영을 가를 뿐입니다. 바로 이 경계를 깨끗하게 훈련하는 것은 여전히 어려운 과제로 남아 있습니다.

프롬프트 인젝션 (Prompt Injection): 새로운 SQL 인젝션

AI 에이전트(AI Agent)는 모든 것을 텍스트로 처리합니다. 에이전트는 사용자의 명령과 외부 콘텐츠를 거의 구분하지 못합니다. 만약 이메일에 숨겨진 명령이 포함되어 있다면, 모델은 이를 따를 가능성이 있습니다. Tramèr는 이러한 허점을 프롬프트 인젝션 (Prompt Injection)이라고 부릅니다.

현대적인 모델들은 이러한 공격을 더 잘 방어합니다. 하지만 완벽하게 안전한 것은 아닙니다. AI 에이전트에게 컴퓨터에 대한 접근 권한을 부여하는 것은 새로운 공격 표면(Attack Surface)을 여는 것과 같습니다. 에이전트가 인터넷에서 데이터를 불러올 때, 조작된 콘텐츠가 에이전트의 방향을 틀어버릴 수 있습니다.

Tramèr는 단일 장애점 (Single Point of Failure)에 대해 경고합니다. 수십억 명의 사람들은 각기 다르게 반응하지만, AI의 경우 수백만 명의 사용자가 동일한 모델을 사용합니다. 따라서 단 하나의 성공적인 공격이 발생하면 모든 사용자에게 동시에 영향을 미칠 수 있습니다. 그렇기에 기업들에게는 로컬 AI 모델 (Local AI Models)과 명확한 접근 권한 제한을 검토하는 것이 가치가 있습니다.

AI 모델이 익명 사용자의 신원을 밝혀낼 때

Tramèr의 팀은 두 번째 위험성을 보여줍니다. 언어 모델(Language Models)은 사용자의 게시물만으로도 사용자의 익명성을 해제(Deanonymize)할 수 있습니다. 모델이 인간보다 더 똑똑한 것은 아닙니다. 다만 더 빠르고 저렴하게 작동할 뿐입니다. 과거에는 몇 시간이 걸렸던 프로필 생성이 이제는 몇 분 만에 이루어집니다.

연구팀은 Hacker News의 프로필과 LinkedIn 데이터를 연결했습니다. 하나의 모델이 사실 관계를 추출하고 이를 대조했습니다. 또 다른 모델은 일치 여부를 확인했습니다. 이러한 방식으로 수천 명을 대상으로 하는 감시 파이프라인 (Surveillance Pipeline)을 구축할 수 있습니다. 이러한 도구들이 컨설턴트들에게도 어떤 영향을 미치는지에 대해서는 당사의 AI 통합 서비스에서 다루고 있습니다.

수출 통제와 비상 정지 스위치: 의미 있는 조치인가, 혼란인가?

Tramèr 교수는 수출 통제가 기이한 결정이라고 생각합니다. Anthropic 스스로도 탈옥 (Jailbreak) 답변이 공개된 ChatGPT와 유사하다는 점을 인정했습니다. 미국은 비미국인들의 접근을 금지했습니다. 하지만 개방형 API (Open API)를 위해서는 이러한 규정을 준수하기가 거의 불가능합니다.

오픈 소스 모델 (Open-Source-Modelle)은 보안을 확보하는 것이 아예 불가능합니다. 공격자들은 보호 메커니즘을 단순히 학습을 통해 제거해 버립니다. API 뒤에 있는 모델들은 더 많은 방어 수단을 제공합니다. 하지만 이들 역시 대개 며칠 지나지 않아 뚫리고 맙니다. 신원 확인 의무화 역시 키(Key)가 도난당하거나 재판매될 수 있기 때문에 큰 효과를 거두기 어렵습니다.

결론: AI 보안은 여전히 취약한 측면으로 남아 있다

프롬프트 인젝션 (Prompt Injection)과 탈옥 (Jailbreak)은 여전히 해결되지 않은 상태로 남아 있습니다. AI 모델은 더 강력해지는 동시에 더 위험해지고 있습니다. 다음 전장은 휴머노이드 로봇입니다. 공격자가 물리적 시스템을 혼란에 빠뜨리면 실제적인 피해가 발생할 수 있습니다. 기업들은 오늘날 AI 에이전트 (AI-Agenten)를 제한된 권한과 로컬 데이터로 보호해야 합니다.

자주 묻는 질문 (FAQ)

AI 모델에서 프롬프트 인젝션이란 무엇인가요?

프롬프트 인젝션 (Prompt Injection)은 무해해 보이는 데이터 안에 숨겨진 명령어를 삽입하는 공격을 설명합니다. AI 에이전트는 모든 것을 텍스트로 처리합니다. 에이전트는 사용자의 명령과 외부 콘텐츠를 거의 구분하지 못합니다. 이메일이나 웹사이트에 조작된 명령어가 포함되어 있다면, 모델은 이를 실행할 가능성이 있습니다. Florian Tramèr 교수는 이 취약점을 고전적인 SQL 인젝션 (SQL Injection)에 비유합니다. 기업 입장에서 이는 AI 에이전트에게 제한된 권한을 부여하고 검증된 데이터 소스를 사용해야 함을 의미합니다.

AI 모델에서 탈옥 (Jailbreak)이란 무엇인가요?

탈옥 (Jailbreak)은 AI 모델을 속이는 행위입니다. 모델은 이를 통해 차단된 작업을 수행하게 됩니다. 공격자는 위험한 질문을 무해한 부분들로 잘게 나눕니다. 모델은 각 부분을 개별적으로 답변하며, 이 답변들이 결합될 때 비로소 위험한 정보가 생성됩니다. 두 번째 방법은 작업을 무해한 형태로 재구성하는 것입니다. Florian Tramèr에 따르면, 대부분의 모델은 새로운 탈옥 (Jailbreak) 기법이 등장한 지 며칠 지나지 않아 무너집니다.

왜 Claude Fable 5가 차단되었나요?

Anthropic은 Claude Fable 5를 강력한 보안 장벽을 갖춘 역대 가장 강력한 모델로 선보였습니다. 그러나 출시 3일 만에 미국의 수출 통제로 인해 전 세계적으로 모델 사용이 차단되었습니다. 보고에 따르면 Amazon의 탈옥 (Jailbreak)이 그 원인이었습니다. 이를 통해 코드 내의 보안 취약점을 찾아낼 수 있었기 때문입니다. Anthropic은 나중에 해당 답변들이 공개된 ChatGPT와 유사했다고 인정했습니다. Florian Tramèr는 이러한 조치가 놀랍고 이해하기 어렵다고 평가합니다.

AI 모델이 익명의 인터넷 사용자를 식별할 수 있나요?

네, 가능합니다. Tramèr의 팀은 언어 모델 (Language Models)이 사용자의 게시물만으로도 사용자의 익명성을 해제 (deanonymize)할 수 있음을 보여주었습니다. 모델이 인간보다 더 똑똑한 것은 아닙니다. 다만 더 빠르고 저렴하게 작동할 뿐입니다. 한 모델이 공개된 게시물을 읽고 사실 관계를 추출한 뒤, 이를 LinkedIn 데이터와 대조합니다. 그다음 두 번째 모델이 일치 여부를 확인합니다. 이 과정을 통해 과거에는 몇 시간이 걸리던 프로필 작성을 단 몇 분 만에 완료할 수 있습니다. 이 기술은 수천 명의 인원에게 확장 적용될 수 있습니다.

AI 에이전트의 컴퓨터 사용 (Computer Use)은 얼마나 안전한가요?

Anthropic과 OpenAI는 현재 컴퓨터 사용 (Computer Use) 기능을 훨씬 더 나은 샌드박스 (Sandbox) 환경에서 운영하고 있습니다. 사용자는 접근 권한을 제한하고 작업을 승인할 수 있습니다. 하지만 이 기술이 완전히 안전한 것은 아닙니다. 에이전트가 인터넷에서 콘텐츠를 불러올 때 프롬프트 인젝션 (Prompt Injection)의 위험이 발생합니다. 조작된 문서가 에이전트의 방향을 돌려놓을 수 있기 때문입니다. Florian Tramèr는 외부의 스킬 (Skills)이나 리포지토리 (Repositories)를 맹목적으로 통합하지 말라고 권고합니다. AI 에이전트와 함께 작업하는 사람이라면 가장 빈번하게 발생하는 공격 패턴을 숙지해야 합니다.