새로운 논문에 따르면, AI 모델은 사용자가 초록색 셔츠를 입고 있다는 가짜 추론(reasoning)을 요청에 포함할 경우 코카인을 합성하는 방법을 설명합니다. 이 논문은 모든 AI 챗봇과 에이전트의 미해결 보안 결함인 프롬프트 인젝션 (prompt injection)의 성공 원인을 LLM (Large Language Models)이 텍스트를 읽는 방식에서 추적합니다. 논문은 모델들이 신뢰할 수 있는 명령과 신뢰할 수 없는 데이터를 구분하기 위해 의도된 역할 태그(role tags)가 아니라, 글쓰기 스타일을 통해 누가 말하고 있는지를 파악한다고 설명합니다.

독립 연구원인 Charles Ye, Jasmine Cui, 그리고 MIT 부교수인 Dylan Hadfield-Menell의 연구인 “Prompt Injection as Role Confusion”은 7월 6일 서울에서 열리는 ICML 2026 컨퍼런스로 향하며, 저자들은 해당 행사에 앞서 확장된 보고서를 게시했습니다.

저자들이 'CoT Forgery (Chain of Thought Forgery)'라고 부르는 이 코카인 트릭은 테스트된 모든 모델에서 탈옥(jailbreak) 성공률을 거의 0%에서 약 60%로 끌어올렸으며, Kaggle에서 열린 2025 OpenAI GPT-OSS-20B 레드팀(red-teaming) 콘테스트에서 우승했습니다.

(이미지 출처: Charles Ye, Jasmine Cui, Dylan Hadfield-Menell)

연구진의 설명에 따르면, 모델은 대화를 하나의 연속된 텍스트 문자열로 수신하며, 각 세그먼트의 출처와 권한을 표시하기 위해 user, tool, _think_와 같은 태그로 구분됩니다. 연구진은 모델이 각 토큰을 자신의 추론으로 처리하는지 또는 사용자 명령으로 처리하는지를 강도에 따라 점수화하는 “역할 프로브 (role probes)”를 구축했습니다.

이 점수들은 모델이 단 하나의 토큰을 생성하기도 전에 공격의 성공 여부를 예측했으며, 모델이 특정 파티션에 어떤 종류의 콘텐츠가 있는지 결정할 때 스타일(style)에 의존한다는 것을 보여주었습니다. 모델에게 단순히 추론처럼 읽히는 텍스트는 주변 태그가 다르게 말하더라도 추론으로 인식됩니다.

CoT Forgery는 프롬프트에 조작된 추론 (reasoning)을 주입하여, 모델이 이를 자신이 이미 도달한 결론으로 취급하고 그에 따라 행동하게 만듭니다. 즉, 모델이 자신의 사고 과정에 부여하는 신뢰를 그대로 상속받는 것입니다. 초록색 셔츠 사례처럼 그 근거가 명백히 터무니없더라도, 모델은 이를 외부의 주장으로 간주하여 면밀히 검토하지 않기 때문에 이러한 현상이 발생합니다. 더욱이, 이 공격은 설득 기반의 탈옥 (jailbreak) 방식과 달리 요청이 더 극단적으로 변하더라도 공격력이 약화되지 않았습니다.

주입된 텍스트가 모델의 추론처럼 읽히게 만드는 스타일적 표식 (stylistic markers)을 제거하되, 인간이 읽기에 의미가 변하지 않도록 유지했을 때, 평균 공격 성공률은 61%에서 10%로 떨어졌습니다. 단 하나의 문구, 즉 “사용자 (The user)”를 “요청 (The request)”으로 바꾸는 것만으로도 성공률이 19% 감소했습니다. 저자들은 보고서에서 “역할 태그 (Role tags)는 보안 아키텍처이자 현대 LLM의 인지적 비계 (cognitive scaffolding)가 된 포맷팅 기법이었다”라고 언급하며, LLM의 동작을 관리하기 위해 해당 구조에 가해지는 부하가 증가함에 따라 그 자체로 취약점이 생성된 것으로 보인다고 설명했습니다.

역할에 대한 혼동이 이번 공격에만 국한된 것인지, 아니면 프롬프트 인젝션 (prompt injection)이 작동하는 이유를 설명하는 더 일반적인 원리인지 확인하기 위해 연구진은 다른 접근 방식을 취했습니다. 그들은 웹페이지에 모델에게 비밀 파일(secrets file)을 업로드하라는 명령을 숨긴 뒤, 그 앞에 “사용자 (User):”를 붙여 위험한 지시가 신뢰할 수 있는 사용자 역할로부터 나온 것처럼 들리게 했습니다. 이 공격은 성공했으며, 이는 역할 혼동이 일반적으로 프롬프트 인젝션이 성공하는 근저에 깔려 있음을 시사합니다.

Microsoft는 최근 동일한 에이전트적 위험 (agentic risk)을 인정하며, 문서나 UI 요소에 포함된 콘텐츠가 에이전트의 지침을 무시(override)할 수 있다고 경고했습니다.

저자들은 또한 브라우징 및 쇼핑을 수행하는 에이전트들에게 더 미묘한 위험이 있다고 지적했습니다. 역할 인식 (role perception)은 정도의 문제이기 때문에, 검색된 웹페이지의 어조가 태그 경계를 넘어 모델 자체의 상태로 스며들 수 있으며, 수천 개의 페이지 변형을 저렴하게 테스트하여 어떤 페이지가 에이전트를 합법적이고 대규모로 구매하도록 유도(nudge)할 수 있는지 찾아낼 수 있습니다.

저자들은 진정한 역할 인식 (role perception) 없이는, 인젝션 방어 (injection defense)가 영원한 '두더지 잡기 (whack-a-mole)' 게임으로 남을 것이라고 결론지었습니다.