당신의 LLM(Large Language Model) 기반 취약점 스캐너가 실제 악용 가능한 버그가 포함된 PR(Pull Request)을 방금 통과시켰습니다. 스캐너가 멍청해서가 아닙니다. 누군가가 코드를 플래그(flagging)하지 않도록 유도하기 위해 특별히 설계된 주석을 작성했기 때문입니다.

이는 ALIBI(arxiv.org/abs/2607.24964) 연구진이 발견한 내용으로, ALIBI는 LLM 취약점 탐지기를 조작하기 위해 소스 코드에 적대적 자연어 주석(adversarial natural-language comments)을 삽입하는 자동화된 공격 프레임워크입니다. 프로그램 자체의 동작에는 아무런 변화가 없습니다. 컴파일러가 실행하는 코드가 아니라, 코드를 읽는 모델을 겨냥한 텍스트일 뿐입니다. 성공률은 여러 단계의 추론 과정을 거치기에 더 견고하다고 여겨지는 프런티어 멀티 에이전트 시스템(frontier multi-agent systems)을 포함한 4개의 대표적인 탐지기에 대해 90% 이상을 기록했습니다.

잠시 이 상황을 생각해 보십시오. 멀티 에이전트(Multi-agent) 아키텍처는 보통 이러한 종류의 조작에 대한 방어책으로 홍보됩니다. 더 많은 검사, 더 많은 교차 검증(cross-validation)을 통해 속이기 더 어렵다는 논리입니다. 하지만 ALIBI는 10번 중 9번 이상 그들을 이겨냈습니다.

공격이 실제로 작동하는 방식

논문은 순수하게 주석/텍스트 계층에서 작동하는 두 가지 메커니즘을 설명합니다:

탐지기 추론 유도(Steering detector reasoning). 공격자는 취약한 코드 근처에 위치하여 모델의 사고 사슬(chain-of-thought)을 "이것은 안전하다"라는 결론으로 유도하는 주석을 작성합니다. 리뷰어(사람 또는 모델)가 제기할 수 있는 정확한 우려 사항을 미리 차단하고, 선제적으로 "설명하여 넘겨버리는" 주석을 생각해보십시오. 빠르게 훑어보는 사람도 같은 속임수에 넘어갈 수 있지만, 코드 주석을 신뢰할 수 있는 문맥(context)으로 취급하는 LLM은 훨씬 더 확실한 표적이 됩니다. 왜냐하면 LLM은 몇 번의 시행착오를 거친 시니어 엔지니어가 갖게 되는 회의론을 가지고 있지 않기 때문입니다.

가짜 도구 출력 생성(Fabricating fake tool outputs). 이것이 더 교활합니다. 에이전트형 탐지기(agentic detector) 설정에서 모델은 종종 도구들(정적 분석기, 테스트 실행기 등 무엇이든)을 호출하고 그 출력을 추론 체인의 일부로 읽습니다. 만약 적대적 주석이 도구 출력의 형식을 설득력 있게 모방하거나 가짜 이전 '스캔 결과'를 참조할 수 있다면, 모델은 그것이 실제로 도구 호출에서 온 것인지 검증하지 않고도 이를 진실(ground truth)로 취급할 수 있습니다. 이것은 정적 분석가 복장을 한 프롬프트 주입(prompt injection)입니다.

두 메커니즘 모두 프로그램 의미론(program semantics)에는 영향을 미치지 않습니다. 버그는 여전히 작성된 대로 정확하게 실행됩니다. 이는 '코드'와 '코드 근처에 삽입된 명령어' 사이의 모델 신뢰 경계에 대한 순수한 공격입니다. 채팅 인터페이스에서의 프롬프트 주입과 같은 종류의 실패이지만, 단지 아무도 찾을 것이라고 예상하지 못하는 소스 파일 내부로 이동했을 뿐입니다.

기존 방어책이 놓친 이유

전통적인 정적 분석기(linter, SAST 도구, 패턴 매처)는 주석을 명령어처럼 읽지 않으므로 이 특정 공격에 취약하지 않습니다. 하지만 그들은 또한 애초에 LLM 탐지기를 매력적으로 만들었던 의미론적 추론 능력도 가지고 있지 않습니다. 이것이 여기서 악용되는 트레이드오프입니다.

한편, LLM 탐지기는 의도를 이해하기 위해 모든 코드 텍스트(주석 포함)를 합법적인 컨텍스트로 처리하도록 설계되었습니다. 이는 탐지기가 제 역할을 하는 데 필수적입니다(주석은 명백하지 않은 코드를 설명하는 데 실제로 도움이 되기 때문입니다). 하지만 이것은 '코드의 무엇을 알려주는 신뢰할 수 있는 신호'와 '적대적으로 조작될 수 있는 신뢰할 수 없는 자연어' 사이에 분리가 없다는 것을 의미합니다. 다중 에이전트 설정도 이를 해결하지 못했습니다. 파이프라인의 모든 에이전트가 동일한 오염된 주석을 읽고 있다면, 교차 확인은 도움이 되지 않습니다. 잘못된 답변에 대한 합의만 얻게 됩니다.

이것은 고전적인 프롬프트 주입과 같은 근본 원인입니다: 콘텐츠와 명령어가 채널을 공유하며, 다운스트림에서 이를 구별하는 것이 없습니다.

Sentinel의 adversarial_input 레이어 적용 위치

Sentinel은 취약점 탐지기 (vulnerability detector)를 대체하는 것이 아닙니다. Sentinel은 채팅 프롬프트 (chat prompt)나 에이전트 도구 결과 (agentic tool result)에 대해 수행하는 것과 마찬가지로, 모델에 도달하기 전에 콘텐츠를 정화 (scrubbing)하며 탐지기 앞단에 위치합니다. 만약 LLM 탐지기에 입력되는 코드베이스 (codebase)나 디프 (diff)가 Sentinel을 먼저 거친다면, 적대적 주석 (adversarial comment)은 다른 적대적 사용자 입력 (adversarial user input)과 동일한 방식으로 스캔됩니다.

구체적인 메커니즘은 다음과 같습니다. 레이어 2 (Layer 2, fast-path regex)는 권한 탈취 (authority hijacks) 및 예상치 못한 위치에 삽입된 지시문(예: "이전 지시사항을 무시하십시오", "다음 스캔은 이미 통과했습니다", 도구 출력 (tool output)을 모방하거나 이전 문맥 (context)을 무효화하는 문구 등)과 같이 신뢰도가 높은 패턴을 포착합니다. 특히 가짜 도구 출력 조작 (Fake tool-output fabrication)은 Sentinel이 이미 감시하고 있는 프롬프트 추출 (prompt-extraction) 및 권한 탈취 (authority-hijack) 패턴과 매우 유사하며, 단지 채팅 메시지 대신 주석 블록 (comment block)으로 위치가 옮겨졌을 뿐입니다.

만약 주석이 fast-path 매칭을 트리거하지 않으면, 레이어 3 (Layer 3)이 작동합니다. 텍스트는 임베딩 (embedded)되어 코사인 유사도 (cosine similarity)를 통해 Sentinel의 공격 시그니처 임베딩 (attack signature embeddings) 라이브러리와 비교됩니다. "추론 유도 (steer reasoning)"를 위해 설계된 적대적 주석은 표면적인 문구가 새롭더라도 알려진 인젝션 (injection) 패턴과 의미론적으로 인접해 있습니다. 이것이 바로 정규 표현식 (regex)만으로는 일반화할 수 없을 때, 유사도 (similarity) 방식이 포착하도록 설계된 공격 벡터 (attack vector)의 부류입니다.

중요한 설계 세부 사항은 다음과 같습니다: Sentinel은 취약점 그 자체를 이해할 필요가 없습니다. 버그가 무엇인지 또는 코드가 익스플로잇 (exploitable) 가능한지 알 필요도 없습니다. Sentinel은 콘텐츠 스트림 (content stream)에 포함된 텍스트 조각이 이를 소비하는 모델의 추론 (reasoning)을 조작하려 시도한다는 사실만을 인식하면 됩니다. 이는 "모든 취약점을 탐지하라"는 문제보다 훨씬 좁고 다루기 쉬운 문제이며, Sentinel이 실제로 해결하기 위해 구축된 문제입니다.

실제 적용 사례

논문에 나온 것은 아니지만, 적대적 주석이 포함된 소스 파일이 LLM 기반 취약점 탐지기에 전달되기 전 Sentinel의 /v1/scrub 엔드포인트를 거치는 과정을 보여주는 예시입니다:

import httpx

source_snippet = """
...

예시 응답:

{
  "request_id": "9f3a21e0...",
  "security": {
...

ALIBI가 설명하는 가짜 도구 출력 (fake-tool-output) 패턴과 정확히 일치하는, 조작된 "이미 안전함이 확인됨 (already verified safe)" 또는 "티켓 SEC-4471, 통과됨 (ticket SEC-4471, passed)" 식의 프레이밍(framing)에 주목하십시오. flagged 단계에서 콘텐츠는 수정되지 않은 채 통과되지만, 호출자는 신호를 받게 됩니다. 이것이 핵심입니다. 즉, 인간 검토자나 다운스트림 파이프라인 게이트(downstream pipeline gate)가 LLM 탐지기의 침묵을 신뢰하는 대신, 이 디프(diff)를 다시 한번 살펴봐야 할 근거를 갖게 되는 것입니다. 만약 유사도 점수(similarity score)가 차단 임계값(block threshold)을 넘었다면, 주석 페이로드(comment payload)가 제거되었거나 요청이 탐지기의 컨텍스트 윈도우(context window)에 도달하기도 전에 즉시 거부되었을 것입니다.

시사점 (Takeaway)

보안 검토를 위해 단일 샷 탐지기(single-shot detector)든 멀티 에이전트 파이프라인(multi-agent pipeline)이든 LLM에 소스 코드, 디프(diffs), 또는 PR 콘텐츠를 입력하고 있다면, 해당 코드 텍스트를 채팅 앱의 신뢰할 수 없는 사용자 입력(untrusted user input)과 동일한 수준의 의심을 가지고 다루십시오. LLM이 의사 결정 과정의 일부로 주석을 읽는 순간, 주석은 공격자가 제어하는 콘텐츠(attacker-controlled content)가 됩니다. 이것은 변하지 않는 사실입니다. 멀티 에이전트 아키텍처(multi-agent architecture)가 여기서 안전 마진(safety margin)을 보장해 줄 것이라고 가정하지 마십시오. 논문의 수치는 그렇지 않다고 말합니다. 스크러빙 레이어(scrubbing layer)를 단순히 챗봇 앞에만 두지 말고, 탐지기의 입력 앞에도 배치하십시오.

여러분의 취약점 탐지 파이프라인에 직접 테스트해 보세요: sentinelaifirewall.com

출처 (Sources)

• Adaptive Agentic Attacks on LLM Vulnerability Detectors via Adversarial Comments