우리는 지난 10년 동안 사람들에게 피싱 링크를 클릭하지 말라고 가르치는 데 시간을 보냈습니다. 이제 우리는 배경에서 재생되는 무엇이든 기꺼이 지시를 따르는 에이전트(Agent)들을 만들어 놓았으며, 이들에게 그러지 말라고 가르치는 일은 시작조차 하지 않았습니다.

문맥 (Context)

텍스트에서의 프롬프트 인젝션 (Prompt injection)은 이제 구식 뉴스입니다. 문서, 웹페이지, 이메일에 숨겨진 지시 사항을 붙여넣고, LLM 에이전트가 사용자의 실제 요청 대신 그 지시를 충실히 따르는 것을 지켜보십시오. 우리는 이 주제에 대해 2년 이상의 연구, 블로그 포스트, 그리고 "이것이 왜 구조적으로 해결하기 어려운가"에 대한 스레드들을 접해왔습니다. 비록 해결되지는 않았지만, 이제는 기본적으로 알려진 범주가 되었습니다.

이 논문은 동일한 핵심 문제를 오디오(Audio) 영역으로 옮겨옵니다. Gemini 3 Pro 및 GPT-4o-audio와 같은 멀티모달 (Multimodal) 에이전트는 더 이상 텍스트만 읽는 것이 아니라, 지속적으로 듣습니다. 바로 이 부분이 중요합니다. 지속적인 오디오 파이프라인 (Audio pipeline)은 모델이 들어오는 소리에서 지시 사항처럼 보이는 것을 항상 파싱 (Parsing)하고 있음을 의미하며, 연구진은 주변 소음이나 겹치는 음성 속에 명령을 숨길 경우 에이전트가 약 69%의 확률로 그 명령에 따라 행동한다는 것을 발견했습니다.

이것이 "진정으로 새로운 것"일까요? 어느 정도는 그렇습니다. 잘 알려진 취약성 범주에 대한 새로운 모달리티 (Modality)입니다. 흥미로운 점은 "오디오가 적대적일 수 있다"는 사실이 아니라 (우리는 TTS/ASR 시스템을 위한 적대적 오디오에 대해 수년 동안 알고 있었습니다), 항상 듣고 있는 에이전트 패턴이 우리가 텍스트에서 다루기 시작했다고 생각했던 동일한 신뢰 경계 (Trust boundary) 문제를 다시 불러일으킨다는 것입니다. 다만 이제 공격 표면 (Attack surface)은 말 그대로 마이크 근처에서 소리를 낼 수 있는 모든 것이 되었습니다.

하이프 체크 (Hype Check)

69%라는 공격 성공률은 경각심을 불러일으키는 수치이며, 헤드라인 측면에서는 "AI 음성 비서가 망가졌다"라는 식으로 다뤄질 것입니다. 하지만 이를 실제 서비스 준비성(production-readiness)에 대한 판결로 받아들인다면 이는 과장된 것입니다. 적대적 머신러닝 (Adversarial ML) 논문의 실험실 조건이 실제 환경의 배포 성공으로 일대일 대응되는 경우는 드뭅니다. 특정 모델에 대해 특정 은폐 기술을 사용했을 때 69%의 공격 성공률(ASR)이 나왔다는 것은 문이 열려 있다는 것을 의미할 뿐, 오늘날 누군가가 실제로 대규모로 그 문을 통해 들어오고 있다는 뜻은 아닙니다.

과소평가된 부분은 다음과 같습니다. 방어 기제(CADV, 교차 모달 일관성 탐지 (cross-modal consistency detection))가 90% 이상의 탐지율을 기록했다는 사실은 이 이야기가 읽히는 방식에 있어 거의 각주 수준으로 취급되지만, 논쟁의 여지 없이 더 중요한 수치입니다. 이는 이것이 트랜스포머 (Transformer) 아키텍처의 고칠 수 없는 근본적인 결함이 아니라, 파이프라인 설계의 공백임을 말해줍니다. 교차 모달 일관성 확인(오디오가 '말하는' 내용이 텍스트 기반 안전 점검에서 허용하는 내용과 일치하는지 확인하는 것)은 기적이 아닌 실용적인 완화 (mitigation) 방법이지만, 업계가 결심만 한다면 따라잡을 수 있다는 증거입니다.

더 무서운 프레임워크로부터 누가 이득을 보나요? 오디오 에이전트 보안 툴링을 판매하는 사람이라면 누구나 69%라는 수치를 활용해 호황을 누릴 것이며, 90%의 탐지율은 조용히 각주로 처리할 것입니다. 이는 연구자들에 대한 비판이 아니라, 논문이 arXiv를 떠나 헤드라인에 걸리는 순간 소화되는 방식일 뿐입니다.

시사점 (Implications)

만약 당신이 연속적(continuous)이거나 주변 소리 청취(ambient-listening) 모드에서 음성 입력을 받는 멀티모달 에이전트 (multimodal agents)를 구축하거나 통합하고 있다면, 여기서 얻을 교훈은 "오디오는 무섭다"가 아니라 "당신은 텍스트 기반 에이전트가 가진 것과 동일한 지시/데이터 혼동(instruction/data confusion) 문제를 물려받았으며, 아마도 이에 대한 예산을 책정하지 않았을 것"이라는 점입니다. 음성 비서, 콜센터 봇, 스마트 스피커 스킬, 또는 단일한 이산적 명령(single discrete command)을 받는 대신 "듣는" 차량 내 에이전트를 출시하는 사람이라면, 에이전트가 스크래핑하는 웹페이지를 다루는 것과 마찬가지로 주변 오디오를 신뢰할 수 없는 입력(untrusted input)으로 취급하기 시작해야 합니다.

실제적인 관점에서: 이는 입력 출처 (input provenance) 및 세분화 (segmentation) (사용자가 의도한 음성인지, 배경 소음인지, 아니면 방 안에 있는 다른 목소리인지 구분하는 것)와, 오디오 채널이 주장하는 내용과 더 제한적인 채널이 허용할 만한 내용 사이의 일관성 검사 (consistency checks)가 필요함을 시사합니다. 이것이 본질적으로 CADV가 수행하고 있는 작업이며 합리적인 방향이지만, 이는 또한 추론 시간 (inference-time) 오버헤드를 증가시키고 실제 사용자들을 짜증 나게 할 오탐 (false positives) 발생 지점을 늘린다는 것을 의미합니다. 보안 (Security)과 사용자 경험 (UX)은 이 문제를 두고 한동안 대립하게 될 것입니다.

HN(Hacker News)의 침묵 (추천 2개, 댓글 0개) 또한 주목할 만합니다. 이는 발견된 내용이 중요하지 않아서가 아니라, "프롬프트 인젝션 (prompt injection) 변형 제47호"라는 사실이 더 이상 사람들의 관심을 끌지 못하기 때문입니다. 이러한 종류의 취약점에 대해 피로감이 쌓이고 있으며, 이는 바로 진정으로 심각한 사례가 눈에 띄지 않은 채 빠져나갈 수 있는 환경입니다.

열린 질문 (Open Question)

만약 교차 모달 일관성 방어 (cross-modal consistency defenses)가 연구 환경에서 90% 이상의 탐지율을 기록할 수 있다면, 왜 이런 종류의 검사가 이미 상용 멀티모달 파이프라인 (multimodal pipelines)의 기본 레이어로 채택되지 않고 있는 걸까요? 그리고 취약점이 무기화된 이후가 아니라 그 이전에 벤더들이 이를 출시하는 것을 실제로 가로막고 있는 것은 무엇일까요?

— Cor, Skyblue Soft

출처 (Sources)

• Stealthy Concurrent Audio Prompt Injections Against Multimodal LLM Agents