교차 게시됨. 원문: stellarbytecapital.com/blog/ai-agent-security-threat-model

챗봇은 텍스트만 생성하지만, 자율 에이전트 (Autonomous Agent)는 행동을 취합니다. 도구를 호출하고, 코드를 실행하며, 데이터를 이동시키고, 돈을 사용합니다. 이러한 변화는 보안 문제를 완전히 바꿉니다. "프롬프트 (Prompt)가 안전한가?"는 더 이상 질문이 아닙니다. 질문은 이것입니다: 이 에이전트가 무엇을 할 수 있는가, 그리고 잘못되었을 때 무엇이 이를 막을 수 있는가?

에이전트 보안을 프롬프트 필터링 (Prompt Filtering)으로 취급하는 것은 팀들이 인상적인 데모를 만든 후 운영 환경에서 사고를 겪게 되는 방식입니다. 여러분에게는 위협 모델 (Threat Model)이 필요합니다. 여기 우리의 모델이 있습니다.

공격 표면의 세 가지 평면 (Three planes of attack surface)

에이전트의 노출은 세 가지 별개의 평면에 존재합니다. 이를 혼동하는 것이 방어 체계가 실패하는 이유입니다:

• 모델 평면 (The model plane) — LLM (Large Language Model)으로 들어가고 나오는 것: 프롬프트, 검색된 문서, 컨텍스트 (Context)로 다시 입력되는 도구 출력값.
• 행동 평면 (The action plane) — 에이전트가 호출할 수 있는 도구: 셸 (Shell), HTTP, 데이터베이스, 파일 I/O, 결제, 그리고 제3자 도구 / MCP 서버.
• 런타임 평면 (The runtime plane) — 에이전트의 코드와 도구가 실제로 실행되는 곳: 프로세스, 컨테이너, 호스트, 그리고 네트워크.

프롬프트 필터링은 첫 번째 평면에만 관여합니다. 대부분의 실제 피해는 두 번째와 세 번째 평면에서 발생합니다.

위협 모델 (The threat model)

이를 유지하는 설계 원칙 (The design principles that hold it together)

• 모든 곳에 최소 권한 원칙 (Least privilege everywhere) 적용. 모든 도구(tool), 마운트(mount), 네트워크 경로(network path)는 기본적으로 비활성화 상태로 설정합니다.
• 코드와 콘텐츠가 적대적이라고 가정. 생성된 코드(generated code), 검색된 문서(retrieved docs), 도구 출력값(tool outputs)은 모두 신뢰할 수 없는 입력값(untrusted input)입니다.
• 중대한 작업에는 인간 참여 (Human-in-the-loop) 필수. 읽기는 비용이 적게 들지만, 돈을 송금하거나 데이터를 삭제하는 작업은 모델의 판단에만 맡기지 말고 반드시 확인 단계(confirmation gate)를 거쳐야 합니다.
• 실행 환경 격리 및 외부 유출 차단 (Isolate execution, deny egress). 탈출하거나 탈취된 에이전트라 할지라도 데이터를 보낼 곳이 없다면 격리된 상태로 유지됩니다.
• 모든 것을 감사 (Audit everything). 재구성할 수 없는 것은 보안할 수 없습니다.

프롬프트 필터링(Prompt filtering)은 "모델이 나쁜 말을 할 것인가?"를 묻습니다. 반면 위협 모델(Threat model)은 "문제가 발생했을 때, 그 영향 범위(blast radius)는 어디까지인가?"를 묻고, 이를 거의 제로(0)에 가깝게 축소합니다.

저희는 Xingyao Byte입니다. 보안 AI 실행 계층(secure AI-execution layers), 퀀트 트레이딩 시스템(quant trading systems), 그리고 결제 플랫폼(payment platforms)을 구축하고 있습니다. 원격 근무 및 비동기 우선(Remote, async-first) → stellarbytecapital.com