프롬프트 인젝션 방어 매트릭스: 어떤 기술이 어떤 공격을 실제로 막을 수 있는가

매주 Twitter에는 "GPT-4를 탈옥(jailbreak)했다"는 새로운 게시물이 올라옵니다. 하지만 실제 서비스용 LLM 애플리케이션을 구축하고 있다면, 단순한 재미 그 이상의 것이 필요합니다. 바로 체계적인 방어 전략입니다.

100개 이상의 기록된 인젝션 공격(injection attacks)을 조사하고 이를 방어 기술과 매핑한 결과, 어떤 기술이 어떤 유형의 공격을 차단하는지 보여주는 방어 매트릭스(defence matrix)를 구축했습니다.

방어 매트릭스 (The Defence Matrix)

공격 유형 (Attack Type)	입력 검증 (Input Validation)	지시 계층 구조 (Instruction Hierarchy)	출력 필터링 (Output Filtering)	권한 경계 (Privilege Boundaries)	모니터링 (Monitoring)
직접 인젝션 (Direct injection)	✅	✅	⚠️	✅	✅
...
핵심 통찰: 단일 기술로는 모든 공격을 막을 수 없습니다. 최소 3개의 계층이 필요합니다.

최소 3계층 구조 (The 3-Layer Minimum)

계층 1: 입력 검증 (Layer 1: Input Validation)

명백한 것들을 잡아냅니다: SQL 스타일의 패턴, 지시문 무시(instruction override) 키워드, 인코딩된 페이로드(encoded payloads).

import re

INJECTION_PATTERNS = [
...

계층 2: 지시 계층 구조 (Layer 2: Instruction Hierarchy)

시스템 지시문(system instructions)을 불변(immutable) 상태로 만듭니다. LLM은 항상 시스템(system) > 사용자(user) 순서로 처리해야 합니다.

system_prompt = """
[SYSTEM INSTRUCTION — IMMUTABLE — PRIORITY LEVEL: MAXIMUM]
You are a customer service agent for Acme Corp.
...

계층 3: 카나리 토큰 모니터링 (Layer 3: Canary Token Monitoring)

시스템 프롬프트에 숨겨진 토큰을 삽입합니다. 만약 이 토큰이 출력(output)에 나타난다면, 인젝션이 발생한 것입니다.

import secrets

CANARY = f'CANARY_{secrets.token_hex(8)}'
...

OWASP LLM Top 10 정렬

이는 OWASP의 LLM Top 10과 직접적으로 매핑됩니다:

• LLM01: 프롬프트 인젝션 (Prompt Injection) — 위의 모든 사항
• LLM02: 안전하지 않은 출력 (Insecure Output) — 출력 필터링 계층
• LLM06: 민감한 정보 (Sensitive Information) — 인젝션을 통한 데이터 유출(data exfiltration)
• LLM07: 안전하지 않은 플러그인 (Insecure Plugins) — 도구 오용(tool abuse) 패턴

고급: 다계층 아키텍처 (Advanced: Multi-Layer Architecture)

프로덕션 시스템을 위한 전체 방어 스택은 다음과 같습니다:

사용자 입력 (User Input)
  → 입력 검증 (Input Validation) (정규표현식 + ML 분류기)
  → 속도 제한 (Rate Limiting) (사용자별, 세션별)
...

각 계층은 이전 계층이 놓친 것을 포착합니다. ML 분류기 (ML classifier)는 정규표현식 (regex)이 놓치는 정교한 공격을 포착하며, 출력 필터링 (output filtering)은 입력 검증 (input validation)이 예측할 수 없는 데이터 유출 (exfiltration) 시도를 포착합니다.

리소스 (Resources)

저는 Python 및 TypeScript 코드 예제를 포함하여 모든 공격 유형을 다루는 종합 가이드를 작성했습니다: Full injection defence guide

OWASP 매핑 및 방어 기술 (OWASP mapping and prevention techniques) 페이지에는 바로 복사해서 사용할 수 있는 방어 코드가 있습니다.

여러분의 현재 인젝션 방어 전략은 무엇인가요? 실제 운영 환경 (production)에서 어떤 방식이 효과적인지 듣고 싶습니다. 👇