11개 중 10개의 코딩 에이전트가 실패했습니다. 이 숫자가 왜 당신을 걱정시켜야 하는지에 대하여.

Adversa AI의 연구원들은 지난달 그들이 GuardFall이라고 명명한 취약점 클래스에 대한 연구 결과를 발표했습니다. 그리고 그 핵심 수치는 무시하기 어렵습니다. 11개의 인기 있는 오픈 소스 AI 코딩 에이전트 중 10개가 수십 년 동안 존재해 온 셸 인젝션 (Shell Injection) 기법을 사용하여 우회되었습니다.

새로운 LLM 탈옥(Jailbreak)이 아닙니다. 정교한 적대적 머신러닝 (Adversarial ML)도 아닙니다. 바로 셸 인젝션 (Shell Injection)입니다. $PATH 하이재킹 (Hijacking)이나 명령 치환 (Command Substitution)이 1980년대부터 악용해 온 것과 동일한 유형의 공격입니다.

단 하나의 에이전트 — Continue — 만 버텨냈습니다. 나머지 10개는 마치 안전 점검이 존재하지 않는 것처럼 악의적인 셸 명령어를 내장된 안전 점검 (Safety Checks)을 통과시켜 버렸습니다.

이것은 단순한 연구적 호기심이 아닙니다. 만약 당신이 CI, 로컬 개발 환경, 또는 실제 인프라에 접근하는 어디에서든 AI 코딩 에이전트를 실행하고 있다면, GuardFall은 실제 공격 표면 (Attack Surface)입니다.

GuardFall이 실제로 작동하는 방식

Adversa AI의 연구는 새로운 취약점 클래스를 설명하는 것이 아닙니다. 그것이 바로 핵심입니다. GuardFall은 AI 에이전트가 실행하고 있다고 생각하는 것과 하부 셸 (Shell)이 실제로 실행하는 것 사이의 간극을 악용합니다.

AI 코딩 에이전트는 도구 호출 (Tool Calls)을 통해 명령을 실행합니다. 전형적인 흐름은 다음과 같습니다:

1. 에이전트가 작업을 완수하기 위해 셸 명령을 실행해야 한다고 결정합니다.
2. 에이전트가 도구 호출을 구성합니다: run_command("npm install <package>")
3. 내장된 안전 계층 (Safety Layer)이 도구 호출 인수를 검사합니다.
4. 검사를 통과하면, 명령이 서브프로세스 (Subprocess)에서 실행됩니다.

3단계의 안전 점검이 바로 가드레일 (Guardrail)입니다. GuardFall은 안전 점검이 실행된 _후_와 셸이 최종 명령 문자열을 해석하기 전 사이에 셸 메타 문자 (Shell Metacharacters), 명령 치환 (Command Substitution) 구문 또는 기타 인젝션 벡터 (Injection Vectors)가 처리되는 방식을 악용하여 이를 우회합니다.

안전 계층은 무해해 보이는 것을 보지만, 셸은 완전히 다른 것을 봅니다.

이는 웹 애플리케이션에서의 고전적인 SQL 인젝션 (SQL injection) 또는 OS 명령 인젝션 (OS command injection)과 정확히 동일한 실패 모드입니다. 다만 이제 피해자는 PHP 폼 핸들러가 아니라, 파일 시스템 접근 권한, 네트워크 접근 권한, 그리고 많은 경우 환경 변수에 자격 증명 (credentials)을 보유한 자율 에이전트 (autonomous agent)라는 점이 다릅니다.

기존 방어 체계가 놓친 것들

GuardFall에 실패한 에이전트들은 아마도 _무언가_를 갖추고 있었을 것입니다. 안전 가드레일 (safety guardrails)이 존재하지 않는다면 기능으로서 마케팅되지도 않을 것이기 때문입니다. 그렇다면 왜 실패했을까요?

몇 가지 가능한 이유는 다음과 같습니다:

의미론적 의도 (semantic intent)가 아닌 표면적 형태에 대한 패턴 매칭 (Pattern matching). rm -rf나 curl | bash를 찾는 안전 점검은 명령 치환 (command substitution), 변수 확장 (variable expansion), 또는 다단계 파이핑 (multi-stage piping)을 통해 전달되는 동일한 명령을 놓칠 것입니다. 셸 인젝션 (Shell injection)은 구체적으로 한 가지처럼 보이면서 다른 일을 수행하도록 설계되었습니다.

에이전트 자신의 출력에 대한 신뢰. 많은 에이전트들이 자신이 직접 구성한 도구 호출 인자 (tool call arguments)를 암묵적으로 신뢰하며, 오직 _사용자_로부터의 입력만을 검사합니다. 하지만 도구 결과 (result) — 예를 들어, 파일을 읽거나 URL을 가져오는 과정 — 에 포함된 GuardFall 페이로드 (payload)는 에이전트가 구성하는 후속 도구 호출에 영향을 미칠 수 있습니다. 오염된 데이터는 적대적 입력 (adversarial input)으로 취급되지 않습니다.

에이전트 루프 (agent loop)와 도구 실행 (tool execution) 사이의 검사 계층 부재. 만약 안전 점검이 에이전트 자신의 추론 루프 (reasoning loop)에 내장되어 있다면, 이는 에이전트 전체를 취약하게 만드는 것과 동일한 프롬프트 인젝션 (prompt injection) 및 추론 조작 (reasoning manipulation)에 취약해집니다. 에이전트 자신의 판단과는 독립적으로 실행되는 대역 외 검사 계층 (out-of-band inspection layer)이 필요합니다.

마지막 지점이 바로 구조적인 격차입니다. 자신의 추론을 사용하여 자신의 입력을 검사하는 것은 보안이 아닙니다. 그것은 희망 사항일 뿐입니다.

Sentinel이 이를 잡아냈을 지점

Sentinel의 에이전트 도구 남용 (agentic_tool_abuse) 탐지는 구체적으로 이러한 공격 표면 (attack surface)을 위해 구축되었습니다.

Sentinel의 에이전트 프록시 모드 (agentic proxy mode)에서는, 모든 tool_result 콘텐츠 블록 — 즉, 에이전트 루프 (agent loop)로 다시 전달되기 전 도구로부터 돌아오는 출력값 — 이 에이전트가 확인하기 전에 정화 (scrubbed)됩니다. 이곳이 바로 GuardFall 공격에 있어 중요한 가로채기 지점 (interception point)입니다.

**레이어 2 (fast-path regex)**에는 도구 및 함수 남용 (tool and function abuse)을 위한 패턴이 포함되어 있습니다. 셸 메타문자 (Shell metacharacters), 명령 치환 구문 ($(...), 백틱 실행), 그리고 알려진 인젝션 (injection) 패턴들이 시맨틱 레이어 (semantic layer)가 실행되기도 전에 거의 제로에 가까운 지연 시간 (latency)으로 매칭됩니다.

그 다음 **레이어 3 (vector similarity)**은 도구 결과의 시맨틱 임베딩 (semantic embedding)을 계산하고 이를 Sentinel의 공격 시그니처 라이브러리 (attack signature library)와 비교합니다. 단순한 정규 표현식 (regex)을 회피하기 위해 난독화된 (obfuscated) — 인코딩되거나, 토큰에 걸쳐 분할되거나, 간접 참조를 통해 밀반입된 — GuardFall 페이로드 (payload)는 알려진 도구 남용 시그니처와 높은 코사인 유사도 (cosine similarity)를 가집니다. 차단 임계값 (block threshold, > 0.82)을 넘으면, 해당 결과는 즉시 거부되며 에이전트에 도달하기 전에 무해한 플레이스홀더 (placeholder)로 교체됩니다.

결정적으로: Sentinel은 에이전트의 추론 (reasoning)과 별개로 대역 외 (out-of-band) 방식으로 작동합니다. 에이전트가 도구 결과를 신뢰할지 여부를 결정하는 것이 아니라, 에이전트 루프가 이를 확인하기도 전에 Sentinel이 결정합니다.

레이어 1 (normalization) 또한 여기서 언급할 가치가 있습니다. 셸 인젝션 (Shell injection) 페이로드는 때때로 텍스트 기반 안전 검사를 우회하기 위해 유니코드 호모글리프 (Unicode homoglyphs), 양방향 오버라이드 문자 (bidi override characters), 또는 보이지 않는 문자 (invisible characters)를 사용합니다. Sentinel은 패턴 매칭이 실행되기 전에 이 모든 것을 제거하고 정규화 (normalizes)합니다.

또한 GuardFall 시나리오는 환경 접근 권한이 있는 에이전트를 포함하므로, **레이어 4 (secret detection)**가 두 번째 방어선을 추가합니다. 설령 .env 파일 내용을 유출하도록 악의적인 도구 결과가 제작되었다 하더라도, 위협 점수 산정기 (threat scorer)가 페이로드 자체에 어떤 점수를 매겼는지와 관계없이 Sentinel은 모델에 도달하기 전에 포함된 모든 API 키, 토큰 또는 자격 증명 (credentials)을 비식별화 (redact)합니다.

예시 구성 및 API 응답

예시 구성 및 API 응답

Anthropic SDK를 사용하여 코딩 에이전트를 위한 Sentinel의 에이전틱 프록시(agentic proxy)를 연결하는 방법입니다 (예시이며, 사용 중인 스택에 맞게 조정해야 합니다):

import anthropic

# Anthropic에 직접 연결하는 대신 SDK를 Sentinel로 지정합니다.
...

도구 출력(tool outputs)을 에이전트에 다시 주입하기 전에 직접 검사(scrub)하는 팀의 경우:

import httpx

# 도구가 실행된 후, 에이전트 루프에 삽입하기 전에 결과를 검사합니다.
...

차단된 GuardFall 페이로드에 대한 예시 응답은 다음과 같을 것입니다:

{
  "request_id": "gf_7x2k9p...",
  "security": {
...

차단된 응답에서 safe_payload: null에 유의하세요. 코드는 safe_payload를 사용하기 전에 반드시 action_taken을 확인해야 합니다. 만약 이것이 `