AI 보안 감사, MCP 침투 테스트 및 LLM 취약점 평가: 반복 가능한 워크플로우

대부분의 보안 팀은 AI 보안을 일회성 작업으로 취급합니다. 스캐너를 한 번 실행하고, 가능한 것을 수정하며, 스택이 깨끗하게 유지되기를 바랄 뿐입니다. 하지만 MCP 서버와 LLM 에이전트는 전통적인 인프라보다 더 빠르게 변화합니다. 매주 새로운 도구들이 에이전트에 연결되며, 모든 새로운 도구는 새로운 공격 표면 (Attack Surface)이 됩니다.

**AI 보안 감사 (AI security audit)**는 반복 가능할 때만 가치가 있습니다. 이 글에서는 일회성 이벤트가 아니라 정기적이고 계획된 프로세스로 실행할 수 있는 MCP 침투 테스트 (MCP penetration testing) 및 **LLM 취약점 평가 (LLM vulnerability assessment)**를 위한 실질적이고 구조화된 워크플로우를 살펴봅니다.

실제로 AI 보안 감사, MCP 침투 테스트 및 LLM 취약점 평가는 동일한 반복 프로세스의 세 가지 단계입니다. 이들은 인벤토리 (Inventory), 규칙 세트 (Rule set), 그리고 피드백 루프 (Feedback loop)를 공유합니다. 이를 하나의 파이프라인으로 취급하면 전체 시스템이 최신 상태를 유지하지만, 별개의 일회성 작업으로 취급하면 각 작업이 끝날 때쯤에는 이미 구식이 되어 버립니다.

왜 구조화된 감사가 임시 스캐닝보다 나은가

모델 컨텍스트 프로토콜 (Model Context Protocol, MCP)은 AI 에이전트가 파일 시스템, 데이터베이스, 브라우저, 셸 실행기 (Shell executors), 내부 API와 같은 외부 도구와 통신하는 표준 방식입니다. 에이전트에 추가하는 모든 MCP 서버는 사실상 여러분의 신뢰 경계 (Trust boundary) 내부에서 실행되는 네트워크 대면 서비스 (Network-facing service)입니다.

구조화된 AI 보안 감사는 임시 스캐닝이 놓치는 부분들을 다룹니다:

• MCP 전송 경계 (MCP transport boundaries) — 서버가 어떻게 시작되는지, 누가 이를 호출할 수 있는지, 그리고 도구 인자(tool arguments)가 권한이 있는 실행 경로(privileged execution paths)에 도달하는지 여부.
• 도구 반환 주입 (Tool-return injection) — 도구의 출력이 에이전트의 컨텍스트(context)에 결합되므로, 침해된 도구는 에이전트가 "보았다고 믿는" 내용을 재작성할 수 있음.
• 직렬화 경계 (Serialization boundaries) — 프로세스 또는 영속성 경계(persistence boundaries)를 가로지르는 데이터는 전형적인 주입 지점(injection point)임.
• 자격 증명 노출 (Credential exposure) — 자식 프로세스(child processes)나 로그를 통해 유출되는 환경 변수 및 설정.
• 측면 이동 (Lateral movement) — 침해된 MCP 서버는 종종 호스트(host)로 진입하기 위한 발판이 됨.

아래 워크플로우의 목표는 이러한 각 점검 항목을 결정론적(deterministic)이고 반복 가능하게 만드는 것입니다.

워크플로우: 5단계

1단계 — 자산 인벤토리 (Asset Inventory)

보이지 않는 것은 감사할 수 없습니다. 범위 내에 있는 모든 에이전트 프레임워크(agent framework), MCP 서버, 도구 정의(tool definition), 모델 엔드포인트(model endpoint)를 열거하십시오. 다음 사항을 기록하십시오:

• 각 에이전트가 호출할 수 있는 도구.
• 도달 가능한 MCP 서버와 사용되는 전송 방식 (stdio, streamable HTTP).
• 각 구성 요소에서 사용할 수 있는 자격 증명(credentials).

이 인벤토리는 이후 모든 단계의 입력값이 됩니다.

2단계 — 정적 탐지 (Static Detection)

인벤토리에 있는 모든 구성 요소의 코드와 설정에 대해 규칙 기반 스캔(rule-based scan)을 실행합니다. 이 단계에 적합한 도구는 규칙이 명시적으로 정의되고 버전 관리되는 탐지 시스템입니다.

CCS 탐지 시스템은 규칙을 인젝션(injection), 원격 코드 실행(remote code execution), 공급망(supply chain), 인증(authentication), 개인정보 보호(privacy)와 같은 공격 표면(attack-surface) 카테고리로 분류합니다. 각 규칙은 모호한 휴리스틱(heuristic) 대신, 도구 실행기(tool executor)로의 커맨드 인젝션(command injection), 안전하지 않은 역직렬화(unsafe deserialization), 서브프로세스로의 환경 유출(environment leakage)과 같이 특정하고 기계적으로 확인 가능한 패턴에 키가 지정되어 있습니다.

유용한 체크포인트는 다음과 같습니다: 규칙 세트는 검토가 가능할 만큼 충분히 작아야 하며, 한 줄씩 감사(auditable line by line) 가능해야 합니다. 24개의 규칙을 가진 탐지 시스템은 불투명한 ML 분류기(ML classifier)보다 추론하기 훨씬 쉬우며, 각 규칙은 해당 규칙이 다루는 취약점 클래스로 추적될 수 있습니다. 예를 들어, 도구 명령 주입(tool-command injection)을 다루는 규칙은 LLM이 생성한 인자를 셸(shell)로 전달하는 모든 프레임워크에 대해 일반화됩니다. 이는 특정 프레임워크가 이전에 스캔된 적이 없는 경우에도 마찬가지입니다.

Stage 3 — MCP 침투 테스트 (Penetration Testing)

MCP 서버에 대한 침투 테스트는 웹 API를 테스트하는 것과는 다릅니다. 왜냐하면 *소비자(consumer)*가 도구 호출(tool-calling) 능력을 갖춘 LLM이기 때문입니다. 실질적인 점검 항목은 다음과 같습니다:

1. 전송 남용 (Transport abuse) — 조작된 요청이 검증 없이 명령 실행기(command executor)에 도달할 수 있는가? stdio 스폰(spawn) 인자와 스트리밍 가능한 HTTP 도구 정의를 테스트합니다.
2. 도구 반환값 오염 (Tool-return poisoning) — 에이전트가 도구 출력에 포함된 명령을 따를 정도로 출력값을 신뢰하는가? 이는 사이드 채널(side channel)을 통한 프롬프트 주입(prompt injection)의 MCP 버전입니다.
3. 역직렬화 (Deserialization) — 모든 직렬화/역직렬화(serialize/deserialize) 경계에 잘못 형성되었거나 크기가 너무 큰 페이로드(payload)를 주입합니다.
4. 자격 증명 유출 (Credential leakage) — 환경 변수나 토큰이 자식 프로세스로 전달되거나 로그에 기록되는지 확인합니다.
5. 요청 위조 (Request forgery) — 서버가 공격자의 영향을 받은 입력을 기반으로 URL이나 리소스를 가져오는가?

각 점검은 고정된 절차(fixed procedure) — 알려진 페이로드, 알려진 오라클(oracle), 알려진 합격/불합격 기준 — 를 가져야 하며, 그래야 다음 분기에도 결과가 재현 가능합니다. 전송 남용 조사(transport-abuse probe)의 최소 버전은 다음과 같습니다:

def probe_stdio_exec(server_cmd: str) -> dict:
    """MCP stdio 전송을 통해 명령 주입 페이로드를 전송합니다."""
    payload = 'normal_arg; id; #'
...

만약 오라클이 명령 실행 결과물(uid=...)을 반환한다면, 해당 서버는 점검에 실패한 것입니다. 그리고 동일한 페이로드는 다음 분기에도 다시 실패할 것이며, 이것이 바로 반복 가능한 감사(repeatable audit)에서 당신이 원하는 바입니다.

Stage 4 — LLM 취약점 평가 (Vulnerability Assessment)

LLM 취약점 평가 (Vulnerability Assessment)는 모델 및 그 주변의 오케스트레이션 계층 (orchestration layer)을 대상으로 합니다:

• 프롬프트 인젝션 탄력성 (Prompt injection resilience) — 신뢰할 수 없는 입력값에 포함된 조작된 지시어가 에이전트 (agent)를 위험한 도구 호출 (tool calls)로 유도하는가?
• 함수 호출 검증 (Function-call validation) — 모델이 요청하는 매개변수 (parameters)가 실행 전에 허용 목록 (allowlist)과 대조하여 확인되는가?
• 데이터 유출 경로 (Data exfiltration paths) — 에이전트가 어떤 리소스를 읽어서 호출자에게 반환할 수 있는가?
• 정책 강제 (Policy enforcement) — 모델의 요청과 도구의 실행 사이에 의사결정 계층 (decision layer)이 존재하는가?

핵심적인 통찰은 모델이 단독으로는 "안전"할 수 있지만, 여전히 공격의 진입점이 될 수 있다는 점입니다. 이는 취약점이 모델의 출력이 사용되는 방식에 존재하기 때문입니다. 그렇기 때문에 평가는 전체 호출 경로(call path)인 모델 → 도구 선택 → 매개변수 검증 → 실행을 모두 포괄해야 합니다.

Stage 5 — 검증, 보고 및 재감사 (Verification, Reporting, and Re-audit)

모든 발견 사항에는 심각도 (severity), 재현 경로 (reproduction path), 그리고 담당자 (owner)가 지정됩니다. 보고서는 Stage 1 (새로운 인벤토리)로 피드백되어, 다음 감사 라운드는 이전보다 엄격하게 범위를 확장하게 됩니다.

전체 루프는 사고에 의해 트리거되는 것이 아니라, 월 단위 또는 릴리스 단위로 스케줄링됩니다.

워크플로우의 기반

이 워크플로우는 방대한 양의 실제 트래픽을 통해 프로덕션 검증을 마쳤습니다. 증거 기반은 다음과 같습니다:

• 20,000개의 트레이스(trace)로 구성된 공개 검증 세트: Correctover 조직이 GitHub(Correctover/standards, release ccs-v1.0)에 공개한 것으로, 탐지 동작을 검증하는 데 사용되는 프로덕션 API 트레이스를 포함합니다. 각 레코드에는 해당 호출에 대한 제공자(provider), 모델(model), 판정(verdict) 및 예상 결과가 포함되어 있습니다.
• 해당 트레이스 세트에 포함된 13개의 제공자 및 33개의 모델: OpenAI, Anthropic, Google, Meta, Mistral, Cohere, DeepSeek 등이 포함되어 있어, 규칙이 단일 벤더가 아닌 이질적인 제공자 동작에 대해 테스트됩니다.
• 동료 검토를 거친 CCS 프레임워크 논문: DOI 10.5281/zenodo.21271910로 출판되었으며, 24개 규칙 탐지 세트가 실행하는 분류 시스템을 설명합니다.

규칙들이 다양한 제공자와 모델의 트레이스를 대상으로 테스트되기 때문에, 탐지 계층은 특정 프레임워크에 대한 하드코딩된 매칭이 아닌 **일반화(generalization)**된 형태입니다. 이것이 바로 여러분의 스택이 진화함에 따라 감사를 반복 가능하게 만드는 핵심입니다.

피해야 할 일반적인 실수

• 한 번만 감사하고 다시는 하지 않는 것. 가치는 스냅샷이 아니라 반복되는 루프(loop)에 있습니다.
• 정적 스캐닝(static scanning)만 수행하는 것. 정적 탐지는 알려진 패턴을 찾아내지만, MCP 침투 테스트(penetration testing)와 LLM 취약점 평가(vulnerability assessment)는 정적 규칙이 볼 수 없는 행동적 격차를 찾아냅니다.
• 모델은 감사하지만 오케스트레이션(orchestration)은 감사하지 않는 것. 대부분의 MCP 리스크는 모델 가중치(weights)가 아닌 도구 계층(tool layer)에 있습니다.
• 검증된 테스트 데이터가 없는 것. 탐지 규칙이 트레이스 세트에 대해 검증되지 않았다면, 오탐(false positive)과 실제 발견 사항(real finding)을 구분할 수 없습니다.

핵심 요약: AI 보안 감사, MCP 침투 테스트, 그리고 LLM 취약점 평가는 하나의 루프입니다

앞서 나가는 조직들은 AI 보안 감사를 빌드(build) 과정처럼 취급합니다. 즉, 정기적으로 실행되고, 실패 시 명확하게 알리며, 빠르게 수정해야 하는 대상으로 봅니다. 버전 관리된 규칙 세트와 검증된 트레이스 데이터셋을 기반으로 하는 구조화된 MCP 침투 테스트와 반복 가능한 LLM 취약점 평가는, 일회성 공포를 지속적인 프로세스로 전환하는 방법입니다.

Correctover SDK는 이 워크플로우가 결합되는 탐지 및 신뢰성 계층입니다. 이 SDK는 CCS 탐지 규칙(위의 공격 표면 카테고리에 걸친 24개 규칙), 모델과 실행 사이의 경로에서 각 도구 호출(tool call)을 검증하는 인터셉터(interceptor), 그리고 코드를 변경하지 않고도 지원되는 13개 모든 제공업체(provider)와 에이전트가 통신할 수 있게 하는 제공업체 불가지론적(provider-agnostic) 전송 계층을 제공합니다. 감사(audit)의 근간이 된 것과 동일한 20,000개의 트레이스(trace)로 검증된 데이터셋이 Correctover SDK의 검증에 사용되었으며, 분류 시스템은 CCS 논문(DOI 10.5281/zenodo.21271910)에 문서화된 것과 동일합니다.

만약 귀하의 에이전트가 MCP 도구를 호출한다면 — 그리고 가치가 발생하는 지점은 바로 그곳이기에 반드시 호출해야 합니다 — 해당 도구들이 무엇을 할 수 있는지 감사하고 강제할 수 있는 반복 가능한 방법이 필요합니다. 이것이 바로 Correctover SDK가 제공하는 것입니다: 구조화된 탐지, 런타임 강제(runtime enforcement), 그리고 보안 팀에 제시할 수 있는 논문 기반의 분류 시스템입니다.

• 문서(Documentation): https://correctover.github.io
• 검증된 트레이스 데이터셋(Verified trace dataset): GitHub Correctover/standards, 릴리스 ccs-v1.0
• CCS 프레임워크 논문(CCS framework paper): DOI 10.5281/zenodo.21271910