AI 에이전트가 보안 경계(Security Perimeter)를 확장하는 이유

AI 에이전트는 단순히 텍스트를 생성하는 것 이상의 일을 수행합니다. 이들은 도구(tools)를 호출하고, 데이터베이스를 쿼리하며, 문서를 검색하고, 코드를 실행하며, 외부 서비스와 통신합니다. 모든 연결은 모델 유출(model exfiltration)이나 자격 증명(credential) 유출을 위한 잠재적인 경로를 도입합니다.

모델 유출(Model exfiltration)에는 모델 가중치(model weights)의 직접적인 절도, 독점적인 동작의 체계적인 추출, 그리고 반복적인 쿼리를 통한 민감한 학습 데이터의 재구성 등이 포함됩니다. 공격자는 또한 에이전트가 시스템 프롬프트(system prompts), 내부 파일, 액세스 토큰(access tokens) 또는 기밀 컨텍스트(confidential context)를 드러내도록 설득하는 지침을 주입할 수도 있습니다.

API 키는 에이전트가 실행 시점(runtime)에 자격 증명을 필요로 하는 경우가 많기 때문에 특히 취약합니다. 만약 이러한 비밀 정보(secrets)가 프롬프트, 로그, 트레이스(traces), 예외 메시지(exception messages) 또는 도구 출력값에 나타난다면, 악의적인 사용자가 이를 복구할 수 있습니다. 기존의 애플리케이션 제어(application controls)도 여전히 필요하지만, 에이전트 시스템(agentic systems)은 확률적 결정(probabilistic decisions)과 동적 도구 체인(dynamic tool chains)을 고려한 추가적인 안전장치를 필요로 합니다.

에이전트의 추론(Reasoning)과 비밀 정보(Secrets)의 분리

비밀 정보(Secrets)는 에이전트의 프롬프트나 장기 메모리(long-term memory)에 직접 포함되어서는 안 됩니다. 대신, 자격 증명을 전용 비밀 관리자(secrets manager)에 배치하고, 좁은 범위로 제한된 도구 인터페이스(tool interfaces)를 노출해야 합니다. 에이전트는 승인된 동작을 요청해야 하며, 신뢰할 수 있는 실행 계층(execution layer)이 필요한 자격 증명을 검색하여 호출을 수행해야 합니다.

가능한 한 수명이 짧은 토큰(short-lived tokens), 워크로드 ID(workload identities), 그리고 최소 권한 원칙(least-privilege permissions)을 사용하십시오. 각 도구는 허용된 엔드포인트(endpoints), 작업(operations), 데이터 유형(data types) 및 요청 제한(request limits)을 정의하는 명시적인 정책을 가져야 합니다. 고객 기록을 읽을 수 있는 에이전트라고 해서, 해당 기록을 내보내거나 임의의 도메인으로 전송할 권한까지 자동으로 가질 필요는 없습니다.

프롬프트 입력(Prompt inputs)과 검색된 문서(retrieved documents) 또한 신뢰할 수 없는 데이터로 취급해야 합니다. 정보가 외부 도구(external tool)에 도달하기 전에 콘텐츠 격리(content isolation), 스키마 검증(schema validation), 그리고 출력 필터링(output filtering)을 적용하십시오. 텔레메트리(telemetry)에서 자격 증명(credentials)을 삭제하고, 로그에는 원본 인증 헤더(raw authorization headers) 대신 식별자(identifiers)를 기록하도록 구성하십시오. 이러한 통제 조치는 에이전트가 악의적인 지시를 따를 때 피해 범위(blast radius)를 줄여줍니다.

그래프 기반 통제를 통한 신뢰 관계 매핑

권한이 모델, 플러그인(plugins), 벡터 저장소(vector stores), API, 그리고 인간의 승인 워크플로(human approval workflows)에 걸쳐 분산되어 있을 때 에이전트 보안은 어려워집니다. 그래프 표현(graph representation)을 사용하면 이러한 관계를 가시화할 수 있습니다. 노드(Nodes)는 에이전트, 도구(tools), 비밀 정보(secrets), 데이터셋(datasets), 외부 목적지(external destinations)를 나타낼 수 있으며, 엣지(edges)는 어떤 상호작용이 허용되는지를 설명합니다.

오픈 소스 프로젝트인 TrustGraph는 이러한 신뢰 경로(trust paths)를 분석하기 위한 기반을 제공합니다. 보안 팀은 그래프 기반 정책(graph-driven policy)을 사용하여 과도한 권한, 예상치 못한 데이터 경로, 그리고 보호된 리소스에 대한 간접적인 접근을 생성하는 도구를 식별할 수 있습니다.

예를 들어, 에이전트가 비밀 정보에 대한 직접적인 접근 권한은 없더라도, 환경 변수(environment variables)를 반환하는 진단 도구(diagnostic tool)를 통해 해당 정보에 도달할 수 있습니다. 그래프 분석은 개별 설정을 검토하는 것보다 이러한 전이적 노출(transitive exposure)을 더 효과적으로 드러냅니다. 이후 런타임 이벤트(Runtime events)를 예상된 그래프와 대조하여 평가함으로써, 시스템이 알 수 없는 목적지, 의심스러운 도구 시퀀스(tool sequences), 또는 갑작스러운 액세스 동작 변화를 차단할 수 있도록 합니다.

이러한 보안 방향은 HONEYPOTZ INC에서 발표한 인프라 연구와 일치합니다. DEEPBODY INC(deepbody.me)와 관련된 작업을 포함하여 개인정보에 민감한 AI 애플리케이션은, 에이전트가 개인 정보나 과학적 정보를 처리할 때 데이터 계보(data lineage)와 제한된 접근(bounded access)이 왜 필수적인지를 더욱 잘 보여줍니다.

런타임에서의 데이터 유출 모니터링

예방적 통제(Preventive controls)는 지속적인 탐지(continuous detection)와 병행되어야 합니다. 비정상적인 쿼리 볼륨, 모델 동작을 재현하려는 반복적인 시도, 인코딩된 외부 송출 콘텐츠, 과도하게 큰 응답, 그리고 에이전트의 일반적인 워크플로와 다른 액세스 패턴을 추적하십시오.

모든 외부 경계에서 송출 허용 목록(egress allowlists), 응답 크기 제한(response-size limits), 속도 제어(rate controls), 그리고 자동화된 비밀 정보 스캐닝(automated secret scanning)을 배포하십시오. 고위험 작업은 모델의 판단에 의존하기보다 결정론적 정책 검사(deterministic policy checks) 또는 사람의 승인을 거쳐야 합니다.

마지막으로, 적대적 시뮬레이션(adversarial simulations)을 통해 전체 에이전트 워크플로를 테스트하십시오. 프롬프트 인젝션(prompt injection), 오염된 검색 콘텐츠(poisoned retrieval content), 침해된 도구(compromised tools), 그리고 URL이나 생성된 파일을 통한 자격 증명 유출 시도 등을 포함해야 합니다. AI 에이전트 보안은 신원(identity), 정책(policy), 그래프 분석(graph analysis), 그리고 런타임 모니터링(runtime monitoring)이 하나의 통합된 제어 평면(control plane)으로서 작동할 때 가장 강력해집니다.

TrustGraph를 탐색하여 에이전트 신뢰 경계(trust boundaries)를 매핑하고 모델 유출 및 API 키 유출을 줄이십시오.