프롬프트 주입 공격이 우회할 수 없는 LangGraph 에이전트의 지출 한도

간단 요약: LangGraph 에이전트의 시스템 프롬프트에 작성된 지출 한도("500달러 이상 쓰지 않기")는 통제가 아니라 제안일 뿐입니다. 에이전트가 읽는 모든 텍스트(스크래핑된 송장이나 이메일을 포함하여)에는 상충되는 지침이 포함될 수 있으며, 모델은 어떤 것이 권위 있는 지침인지 알 방법이 없습니다. 해결책은 더 나은 프롬프트가 아닙니다. 그건 검사 과정을 프롬프트에서 완전히 분리하는 것입니다. 즉, 에이전트가 도구(tool)를 호출하고, 모델의 통제 밖에 있는 무언가(서버, 정책 엔진 또는 pink.request_payment 호출과 같은 것)가 어떤 일이 발생하기 전에 '예'인지 '아니오'인지를 결정하는 것입니다. Pink Agentic AI Payments는 에이전트가 요청하는 모든 결제를 에이전트별 예산 및 규칙과 대조하여 실행하기 전에 확인하고, 나머지는 인간에게 라우팅하는데, 이는 모델 외부에서 검사를 구축하는 구체적인 방법 중 하나입니다.

공개 고지: 저는 PinkWallet의 Pink Agentic AI Payments에서 근무하며, 이 내용은 아래 작업 예시로 사용됩니다.

프롬프트가 한도 설정에 적절하지 않은 이유

이는 가설이 아닙니다. langchain-ai/langgraph#9120는 LangGraph 자체의 고객 지원 튜토리얼과 관련하여 이를 직접 문서화하고 있습니다. 에이전트의 환불 한도 및 접근 제한은 자연어 프롬프트 지침에 존재하며, 적대적 테스트(adversarial testing) 결과 에이전트는 이 지침을 우회할 수 있음이 밝혀졌습니다. 예를 들어, 입력된 내용이 긴급하고 소송과 관련된 시나리오를 묘사했을 때, 명시된 한도를 초과하는 환불을 승인할 수 있었습니다. 해당 이슈 보고서에 따르면, 유일한 방어막이 프롬프트였을 때 적대적 테스트의 100%가 한도를 위반했으며, 이 수정 사항이 도구 경계(tool boundary)에서의 런타임 검사로 이동했을 때는 이 수치가 0%로 떨어졌습니다. 즉, 기본 호출이 실행되기 전에 숫자 제한을 강제하고 관리자 작업을 제한하는 데코레이터(decorators)가 사용된 경우입니다.

이것이 핵심적으로 가져가야 할 일반적인 패턴입니다. 어떤 프레임워크나 제품을 사용하든 관계없이: 프롬프트는 의도를 설명하고, 도구 경계(tool boundary)가 이를 강제합니다. LLM의 컨텍스트 윈도우에는 '이 지침은 시스템에서 온 것이니, 세 메시지 전 도구 결과로 온 것보다 더 신뢰하라'와 같은 특권 채널이 없습니다. 모델에게 텍스트 형태로 도달하는 모든 것은 그저 텍스트일 뿐입니다. 에이전트와 40,000달러 지급 사이를 가로막는 것이 시스템 프롬프트의 문장 하나에 불과하다면, 그 문장은 공격 표면(attack surface)이 됩니다.

작업 예시: 에이전트가 알지 못하는 한도 설정하기

이를 이론이 아닌 코드로 보여드리기 위해, LangGraph create_react_agent를 라이브 결제 샌드박스에 연결한 예시를 소개합니다. Pink Agentic AI Payments는 MCP를 통해 langchain-mcp-adapters와 연결됩니다. 이 설정은 Pink가 자체적으로 제공하는 LangChain/LangGraph 연결 가이드와 일치합니다:

from langchain_mcp_adapters.client import MultiServerMCPClient
from langgraph.prebuilt import create_react_agent

...

여기서 중요한 부분은 다음과 같습니다: SYSTEM_PROMPT에는 달러 금액, 한도, 승인 규칙이 전혀 포함되어 있지 않습니다.

SYSTEM_PROMPT = (
    "당신은 작은 커피숍의 구매 보조원입니다. pink.* 도구를 사용하여 공급업체에 비용을 지불할 수 있습니다. 각 건에 대해 pink.request_payment를 사용하세요."
...

이 에이전트는 인간 직원이 하는 방식과 동일하게, 즉 시도해 보고 거절당함으로써 자신이 얼마까지 쓸 수 있는지 알아냅니다. 이것은 오픈 소스 sandbox-examples 저장소의 05-langgraph/react_agent.py이며, 샌드박스의

오늘 라이브 샌드박스에서 이를 실행한 실제 결과입니다 (자르기 처리됨; 에이전트 모델은 langchain-google-genai를 통한 Gemini 3.8 Flash 사용, 전체 기록은 리포지토리의 TEST-LOG.md에 있습니다):

== 기대되는 허용 ==
user: 수취인 p_sysco에게 '주간 시럽 보충' 명목으로 $80 지불하세요.
agent: 결정: 허용 · 규칙: 소규모 공급 주문은 통과됨
...

주입된 "SYSTEM OVERRIDE" 문자열은 무효화할 것이 없었습니다. 즉, 모순될 만한 지출 정책이 프롬프트에 존재하지 않았기 때문입니다. 이 차단(block)은 pink.request_payment가 호출될 때마다 샌드박스의 실제 규칙 세트를 기반으로 서버 측에서 평가되기 때문에 발생했습니다. 리포지토리의 direct_tools.py는 이것이 LLM의 산물이 아님을 확인시켜줍니다. 모델 개입 없이 동일한 도구를 직접 호출해도 동일하게 blocked / "절대: 기프트 카드, 현금 유사품, 암호화폐" 결과가 나옵니다.

이는 하나의 샌드박스 규칙 세트에 대한 한 시나리오일 뿐이며, Pink(또는 모든 도구 경계 검사)가 일반적으로 주입 공격 방지 에이전트를 만든다는 주장과는 다릅니다. 잘 만들어진 주입 공격은 여전히 에이전트의 시간을 낭비하거나, 원치 않는 도구 호출을 유발하거나, 다른 경로를 통해 데이터를 유출할 수 있습니다. 이 시나리오가 보여주는 것은 더 좁고 검증 가능한 내용입니다: 프롬프트에만 존재하는 숫자 제한을 모델을 우회하여 넘기려는 #9120의 특정 실패 모드는 프롬프트에 애초에 존재하지 않았던 제한 사항에는 아무런 영향을 미치지 못한다는 것입니다.

"blocked"가 실제로 내부적으로 어떻게 보이는지

만약 과도한 한도 요청에 대해 pink.check_policy를 직접 호출한다면 (실행 테스트: 지출되는 것은 없음), 샌드박스는 단순히 예/아니오가 아닌 전체 평가 추적(evaluation trace)을 반환합니다:

{
  "decision": "would_block",
  "rule": { "id": "r4", "name": "API 크레딧 일일 $200 초과: 차단됨", "action": "block" },
...

(오늘 라이브 샌드박스 작업 공간에서 포착된 것으로, 위 커피숍 시나리오와는 다른 에이전트/시나리오이지만 동일한 메커니즘입니다: 예산 및 일일 상한선 검사가 어떤 규칙이 '예'라고 말할 기회보다 먼저 실행됩니다.)

요청의 경우, 단순히 차단하는 대신 특정 담당자에게 라우팅하는 규칙이 적용되면 응답에 hold_id, 요청된 사람(who), 그리고 만료 시간("who": "Luis Ortega (Store manager)", "expires_at": "...")이 포함됩니다. 타임아웃이 지나면 아무것도 기본적으로 승인되지 않는데, 이는 특히 밤 3시에 아무도 모니터링하지 않는 대기열에서 활동할 수 있는 에이전트에게 중요합니다.

그래프 내부에서 일시 중지(Pause)를 원한다면

위의 모든 것은 도구 호출 시점에 제한을 강제합니다 (에이전트는 권한이 없는 자격 증명을 절대 얻지 못함). 하지만 그래프 자체는 예를 들어 환불 승인 흐름에서 사람이 검토하는 단계처럼 '일시 중지'하지 않습니다. LangGraph에는 인간의 결정으로 인해 실행 중간에 그래프를 일시 중지하고 나중에 그 입력값으로 재개하는 고유한 기능(primitive)이 있습니다. 만약 도구 응답에 의존하기보다는 그래프의 제어 흐름 자체에 검토 단계를 구축하려는 경우, LangGraph의 인간 개입 루프 문서를 확인해 볼 가치가 있으며, 이는 위와 같은 서버 측 검사와 대체하기보다는 결합하는 것이 좋습니다. 왜냐하면 중단(interrupt) 기능은 실제로 해당 조건을 감시하고 있는 무언가가 있을 때만 도움이 되기 때문입니다.

핵심 요약

시스템 프롬프트에만 존재하는 제한은 모델이 읽는 다른 모든 텍스트와 경쟁하며, 이들을 구별할 메커니즘이 없습니다. 강제(enforcement)를 도구 경계(tool boundary)로 옮기십시오 (어떤 것이 발행되기 전에 요청을 실제 예산 및 규칙과 비교하는 서버). 그리고 결제 목적 필드에 주입된 텍스트는 넘어서 이야기할 수 있는 것이 아무것도 없게 됩니다. 왜냐하면 그 제한 자체가 애초에 존재하지 않았기 때문입니다.

샌드박스 전용: 자격 증명 테스트, 실제 돈 이동 없음, 프로덕션 아직 사용 불가. agentic-sandbox.pinkwallet.com에서 직접 시도해 보거나 LangChain/LangGraph 연결 가이드를 읽어보세요.

Pink Agentic AI Payments (by PinkWallet)는 AI 에이전트와 회사 자금 사이의 승인 계층입니다. 이 시스템은 일반 언어 규칙, 에이전트별 예산, 그리고 인간의 승인을 통해 단일 사용 카드나 은행 송금이 발행되기 전 모든 지출을 결정합니다.