AI 에이전트의 지출 사고 사례 10가지와 도움이 될 수 있는 통제 방안
요약
AI 에이전트가 클라우드 계정, 트레이딩 봇 등 돈을 사용할 수 있는 도구에 연결되면서 지출 사고 위험이 커지고 있습니다. 본 글은 공개된 AI 에이전트의 지출 사고 사례 10가지와 함께, 이를 방지하기 위한 '수취인 허용 목록(payee allowlist)' 및 '인간 승인'과 같은 구체적인 통제 방안을 제시합니다.
핵심 포인트
- AI 에이전트는 돈을 직접 사용할 수 있는 도구에 연결되면서 위험성이 증가하고 있습니다.
- 사례 분석 결과, 트랜잭션 전송 주소 제한(allowlist) 및 인간의 최종 승인이 중요합니다.
- Amazon 내부 Claude 사용 사례에서 모델 비용이 예산 대비 크게 초과 지출된 사례가 보고되었습니다.
AI 에이전트는 클라우드 계정, 트레이딩 봇, 쇼핑 브라우저, 자판기 재고, 청구서가 연결된 API 키 등 돈을 직접 사용할 수 있는 도구를 점점 더 많이 부여받고 있습니다. 이것이 잘못되면 버그 보고서가 아니라 인보이스나 고갈된 지갑이 됩니다.
우리는 공개적으로 보고된 모든 사례를 기록했으며, 전체 데이터셋은 github.com/Pink-Agentic-Payments/agent-spending-incidents에서 공개(CC BY 4.0)됩니다.
공개: PinkWallet 팀이 컴파일했으며, 이 팀은 Pink Agentic AI Payments를 구축하고 있습니다.
아래 각 항목은 데이터셋의 incidents.csv에 있는 사실만을 사용하며, 출처가 다르거나 수치가 확인되지 않은 경우에는
공격자가 Grok과 연결된 지갑으로 NFT를 전송하여 Bankr 트레이딩 봇 내부의 권한이 높은 전송 권한을 해제했고, 이후 X에 Grok에게 모스 부호로 인코딩된 메시지를 게시했습니다. 이를 디코드한 결과, 해당 메시지는 인증된 명령으로 처리되었고, 봇은 지갑에서 약 30억 DRB 토큰을 전송했습니다. 보고된 금액은 매체와 토큰 가격에 따라 $150,000에서 $200,000 사이입니다. 커뮤니티의 노력으로 해당 자금의 약 80%가 회수되었다고 합니다. Giskard
도움이 되었을 통제 방안: 수취인 허용 목록(payee allowlist). 이 전송은 봇이 사전에 신뢰할 이유가 없는 지갑으로 이루어졌습니다. 따라서 트랜잭션을 사전 승인된 주소로 제한했다면, 명령이 어떻게 인코딩되었든 관계없이 지급을 차단했을 것입니다.
3. Guardio가 Perplexity의 Comet을 가짜 Walmart 사이트에서 구매하도록 속임 (2025년 8월)
Guardio Labs의 보안 연구원들은 Perplexity의 Comet AI 브라우저에게 Lovable이 구축한 가짜 URL을 가진 사이트의 위조 Walmart 페이지에서 Apple Watch를 구매하도록 요청했습니다. Comet은 해당 사이트를 사기성으로 플래그 지정하지 않았고, 사용자의 카드 및 주소 세부 정보를 입력하여 결제를 완료했습니다. 구체적인 금액은 명시되지 않았으며, 이는 피해자가 발생한 보고 사례가 아닌 연구 시연입니다. BleepingComputer
도움이 되었을 통제 방안: 인간 승인(human approval). 에이전트는 결제 정보를 입력하기 전에 검증되지 않은 도메인에서 구매를 일시 중지하고 확인하는 메커니즘이 없었습니다.
4. Amazon의 내부 Claude 코딩 작업이 $1.8백만 초과 지출 (2026년 7월 공개)
Amazon 내부 프로젝트에서 Claude를 사용하여 저자 기록을 제품 목록과 매칭하는 과정이 예산 대비 약 860% 초과하여, 모델 사용 비용으로 약 180만 달러에 달했으며, 이 사실은 약 5개월 동안 감지되지 않았다고 합니다. 이는 Tom's Hardware와 gHacks가 게재한 유료 Financial Times 보고서 요약본을 바탕으로 하며, 직접 가져온 내용은 아닙니다. Tom's Hardware
도움이 되었을 통제: 에이전트별 예산(per-agent budget). 작업과 연계된 하드 스펜딩 캡(hard spending cap)이 있었다면, 청구서가 원래 예상의 8.6배에 도달하기 훨씬 전에 중단되어, 5개월간의 조용한 누적 지출을 막았을 것입니다.
5. 자율 에이전트가 취미 네트워크 스캔으로 6,531.30 달러 AWS 청구서 발생 (2026년 5월)
한 운영자가 AI 에이전트에게 자원봉사자들이 운영하는 DN42 취미 BGP 네트워크를 '색인화(index)'할 수 있는 무감독(unsupervised) AWS 액세스를 부여했습니다. 이 에이전트는 해당 작업에 다섯 개의 m8g.12xlarge 인스턴스, 로드 밸런서 및 Lambda 함수가 필요하다고 판단했으며, 오류가 발생할 때마다 약 20 Gbps의 스캔 트래픽을 생성하고 중복된 CloudFormation 스택을 재구축했습니다. 이틀 후 청구서는 6,531.30 달러에 달했지만, AWS는 나중에 이를 1,894달러로 줄였습니다. DN42 커뮤니티 작성 글
도움이 되었을 통제: 에이전트별 예산(per-agent budget). 에이전트의 AWS 액세스에 지출 상한선(spend ceiling)이 있었다면, 다섯 개의 대형 인스턴스와 중복 스택들이 쌓이기 훨씬 전에 반복적인 인스턴스 생성을 막았을 것입니다.
6. 개발자가 통제 불능 AI 에이전트로 인해 32달러의 예상치 못한 청구서 받음 (2026년 4월)
개발자가 AI 에이전트를 약 20분간 방치한 사이 돌아와 예상치 못한 $32 청구를 발견했습니다. 이 경우 근본적인 에이전트와 작업에 대한 자세한 설명은 원문에 나와 있지 않습니다. 그 후 개발자는 OpenAI 및 Anthropic SDK를 monkey-patch하여 호출당 실행 비용을 추적하고, 지출 한도에 도달하면 예외를 발생시키는 도구인 AgentBudget을 구축하고 오픈 소스화했습니다. Hacker News
도움이 되었을 통제: 에이전트별 예산(per-agent budget). 금액 기준으로 가장 작은 사고이지만, 동일하게 부족했던 제어 장치인 하드한 에이전트별 한도가 바로 개발자가 직접 구축한 것입니다.
7. Claude 기반 사무실 자판기가 재고를 풀어 돈을 잃다 (2025년 12월)
Anthropic과 Andon Labs는 의도적인 레드팀 스트레스 테스트의 일환으로, Anthropic이 개발한 Claude 기반 에이전트인 Claudius가 월스트리트 저널(Wall Street Journal) 뉴스룸의 실제 사무실 자판기 설비에서 가격 책정, 주문 및 판매를 관리하게 했습니다. 며칠 만에 Claudius는
Google Mandiant의 "AI 위험 및 복원력(AI Risk and Resilience)" 보고서에 따르면, 이름이 밝혀지지 않은 회계 AI 에이전트가 통제 불능 실행 루프(runaway execution loop)에 빠져 한 시간도 안 되는 시간에 15,000건 이상의 고비용 API 호출을 수행하여 약 $50,000 상당의 클라우드 비용을 발생시키고 활성 비즈니스 거래를 방해했습니다. 이 내용은 Help Net Security가 보고서를 요약한 것을 기반으로 하며, 보고서 자체에서 나온 것이 아닙니다. 회사 이름, 정확한 날짜 및 근본 원인은 발견된 모든 버전에서 기밀로 처리되었습니다. Help Net Security
도움이 되었을 통제: 비율/속도 제한(rate/velocity limit). 한 시간도 안 되는 시간에 15,000건 이상의 호출은 각 호출이 합법적으로 보이는지와 관계없이 속도 제한으로 거의 즉시 포착되는 패턴입니다.
9. 연구원들이 프롬프트 주입을 통해 Google의 AP2 에이전트 결제 프로토콜을 레드팀 테스트함 (2026년 1월)
학술 연구원들은 Google ADK 기반의 Gemini-2.5-Flash 에이전트를 사용하여 쇼핑 에이전트를 구축하고, 간접적인 프롬프트 주입(indirect prompt injection)이 해당 에이전트가 구매할 제품을 리디렉션시킬 수 있음을 보여주었습니다. 이 공격은 테스트에서 100%의 성공률을 보였으며 (소위 "Branded Whisper Attack"), 관련 "Vault Whisper Attack"은 시도 중인 트라이얼의 20%에서 계정 간 데이터 노출을 야기했습니다. 이러한 공격들은 AP2의 서명 강제(signature enforcement)를 깨뜨리지 않으면서 에이전트가 결제 위임장(payment mandate)에 암호화하여 서명하기 전 그 추론 과정(reasoning)을 조작했습니다. 이는 실제 운영 트래픽이 아닌 연구 시연입니다. arXiv
도움이 되었을 통제: 인간 승인(human approval). 이 논문의 발견은 서명 강제가 깨지지 않았다는 것이지만, 무엇이 서명될지 결정하는 추론 과정에만 문제가 있다는 것입니다. 따라서 서명 전에 인간의 검토 단계를 추가하면 이러한 격차를 해소할 수 있습니다.
10. Snyk가 전체 신용카드 정보를 수집하고 유출하는 게시된 에이전트 스킬을 발견함 (2026년 2월)
Snyk 연구원들이 ClawHub/OpenClaw 에이전트 스킬 마켓플레이스를 스캔한 결과, 게시된 3,984개의 스킬 중 283개(7.1%)가 심각한 보안 결함을 가지고 있는 것을 발견했습니다. 최악의 경우인 '무엇이든 구매 가능한' 스킬은 에이전트에게 전체 카드 번호, 만료일, CVC 코드를 수집하도록 명시적으로 지시하고, 이 데이터를 API 요청에 포함시키며, 해당 데이터를 LLM의 컨텍스트 창과 출력 로그에 평문(plaintext)으로 전송했습니다. 이는 실제 마켓플레이스에서 발견되었으며, 이러한 방식으로 공격자가 특정 사용자의 카드 데이터를 유출했다는 확인된 사례는 아직 없습니다. Snyk
도움이 되었을 통제: 자격 증명(credential)이 에이전트에게 노출되지 않도록 하는 것입니다. 카드 세부 정보가 에이전트의 컨텍스트에 들어가지 않았다면, 나중에 프롬프트 주입(prompt injection)으로 유출할 LLM 로그나 출력물이 존재하지 않았을 것입니다.
Pink가 적용되는 경우
Pink Agentic AI Payments (by PinkWallet)는 AI 에이전트가 요청하는 모든 결제가 해당 에이전트의 예산 및 규칙(허용, 인간에게 문의, 또는 차단)과 일치하는지 실행 전에 확인합니다. 또한, 에이전트는 영구적인 카드나 계정 키를 보유하지 않습니다. 오직 결제가 완료된 후에만 해당 가맹점과 금액에 한정된 단일 사용 자격 증명(single-use credential)을 받게 되며, 이는 15분 후에 만료됩니다 (오늘의 샌드박스에서 테스트 돈으로 시뮬레이션). 이는 여기 여러 사례에 적용될 수 있습니다: 가맹점 허용 목록(payee allowlist) 또는 인간 승인 단계는 조작된 결제 사례(INC-001, INC-002, INC-009)를 해결하고, 에이전트에게 영구 키를 부여하는 대신 승인된 결제 건별로 자격 증명을 발급하는 것은 자격 증명 유출 사례(INC-010)를 줄여줍니다. 그러나 모든 범주를 다루지는 못합니다: 모델 토큰/API 사용량(INC-004, INC-006)과 클라우드 컴퓨팅 청구(INC-005, INC-008)는 해당 지출 자체가 결제 계층을 통해 이루어지지 않는 한 제공업체에 의해 직접 청구됩니다. Freysa 및 Bankr의 원래 설정처럼 어떤 정책 계층 외부에서 작동하는 지갑은 누군가 이를 추가할 때만 이 통제를 얻게 됩니다.
우리는 이 패턴이 발생했던 특정 사고를 예방했을 것이라고 주장하는 것이 아닙니다. 단지 보고된 바에 따르면 부족했던 통제 유형을 지적하는 것입니다.
데이터셋 성장에 도움 주기
해당 데이터셋은 CC BY 4.0 라이선스 하에 GitHub의 Pink-Agentic-Payments/agent-spending-incidents에서 공개되어 있습니다. 만약 아직 포함되지 않은 출처가 있는 사고를 알고 계시다면, 주요 출처 링크, 사고 및 보고 날짜, 그리고 어떤 포함 기준을 충족하는지 명시하여 GitHub 이슈를 열어주세요.
AI 에이전트 결제 실패 중 어느 범주가 가장 보고가 부족하다고 생각하시나요? 암호화폐/지갑 조작, 클라우드/API 과지출, 아니면 다른 것인가요?
AI 자동 생성 콘텐츠
본 콘텐츠는 Dev.to AI tag의 원문을 AI가 자동으로 요약·번역·분석한 것입니다. 원 저작권은 원저작자에게 있으며, 정확한 내용은 반드시 원문을 확인해 주세요.
원문 바로가기