BleedStop의 프롬프트 주입 방어는 단일 분류기 점수가 아니라 모델 앞에 배치된 일련의 검사(stack of checks)입니다. 기본 검사는 구문 목록(phrase list)입니다. DeBERTa 분류기는 제가 두 번째 단계로 활성화하는 부분이며, 별도로 확보한 세트(held out set)에서 5%의 오탐률(false positive rate)로 주입 공격의 77.5%를 포착했습니다.
본 게시물의 모든 내용은 BleedStop 사례 연구 또는 공개 레포지토리인 usmamalik345/bleedstop, 특히 README와 classifier/server.py에서 가져온 것입니다. 이 검사들을 둘러싼 비용 및 보안 가드는 BleedStop 심층 분석에 나와 있습니다.
아무것도 변경하지 않았을 때 작동하는 것
구문 목록이 기본 탐지기입니다. README에는 ONNX 사이드카(sidecar)가 BLEEDSTOP_DETECTOR 플래그가 classifier 또는 both일 때만 실행된다고 명시되어 있습니다. 이 플래그가 설정되기 전까지는 라이브 데모의 서버 검사가 구문 목록을 사용합니다. 데모 페이지에서 브라우저로 실행되는 모델은 데모용일 뿐입니다. API를 보호하지는 않습니다.
구문 목록의 경우, 실제 확보한 세트(held out set)에 대한 수치는 미흡합니다. README의 에이전트 가드 행에서는 홀드아웃 세트에서 22.5%가 검출되었으며 오탐률은 0%라고 언급하며 이를 정확한 수치로 부릅니다. 같은 README의 후반부 참고 사항에는 구문 목록만, 커트오프(cutoff) 0.6, 정규화기 비활성화(normaliser off) 조건이 홀드아웃 세트에서 분수로 계산했을 때와 동일한 비율을 보인다고 합니다: 40개 중 9건 (N=80, 오탐률은 40개 중 0). 개발 환경(Dev), 즉 정규 표현식(regex)이 조정된 곳에서는 55개 중 53건 (N=112, 정상 건수 57, 오탐률은 57개 중 0)으로, 이는 요약표의 96.4%에 해당합니다. 커트오프를 0.3으로 낮추는 것은 개발 환경의 재현율(recall)을 높이지 못했고, 대신 개발 환경의 오탐률을 57개 중 1로 증가시켰으므로, 커트오프는 0.6으로 유지되었습니다. 정규화를 활성화하는 것은 개발 환경의 재현율을 높이지 못했습니다. 따라서 BLEEDSTOP_NORMALIZE는 비활성화 상태를 유지합니다.
이것이 제가 96.4%로 시작하지 않는 이유입니다. 이 수치는 구문 목록이 조정된 세트를 기반으로 한 수치이기 때문입니다.
두 번째 단계, 활성화할 때
classifier/server.py는 FastAPI를 사용하여 protectai/deberta-v3-base-prompt-injection-v2를 제공합니다. CLASSIFIER_URL이 설정되면, /agent/precheck와 MCP 게이트웨이가 먼저 정규표현식(regex)을 실행한 다음 분류기(classifier)를 실행합니다. 또한 services/classifier/ 아래에 작은 ONNX 사이드카(sidecar)가 있으며, CPU에서 작동하며 브라우저 데모가 로드할 수 있는 것과 동일한 8비트 모델입니다. 사례 연구는 해당 브라우저 빌드를 8비트로 양자화된 DeBERTa 분류기로 설명합니다.
both 모드는 먼저 구문 목록(phrase list)을 실행하고, 해당 구문 목록이 허용한 텍스트만 POST /classify로 전송합니다. 타임아웃은 BLEEDSTOP_CLASSIFIER_TIMEOUT_MS이며 기본값은 800입니다. 사이드카가 다운되거나 느릴 경우, 기본값인 BLEEDSTOP_CLASSIFIER_FAILMODE=open이 적용됩니다: 구문 목록의 판결을 유지하고 경고를 기록하며, bleedstop_classifier_errors_total을 증가시킵니다. closed는 이러한 장애 발생 시 호출 자체를 차단합니다. 이는 주입 공격(injection)에 더 안전하며, 또한 작동하지 않는 사이드카가 해당 호출을 중지시킨다는 의미이기도 합니다.
이 게시물에서 제가 신뢰하는 README의 비교는 다음과 같습니다:
| Set | Phrase list recall / false positive rate | Classifier recall / false positive rate | Two stage recall / false positive rate |
|---|
| deepset/prompt-injections, all 662 | 4.2% / 0% | 41.4% / 1.0% | 41.4% / 1.0% |
| ... | | | |
사례 연구에서 5%의 오탐률(false positive rate)을 기록한 77.5%는 보류된(held out) N=80 데이터셋에 대한 이 분류기 행입니다. 이는 구문 목록이 아닙니다. 해당 세트에서의 2단계 재현율(Two stage recall)은 동일한 5.0%의 오탐률에서 80.0%로, 분류기 단독 성능보다 약간 높습니다.
README에 명시된 지연 시간(Latency)은 4개의 CPU 스레드에서 측정되었습니다: 구문 목록의 p50은 약 9 마이크로초(microseconds); 분류기의 p50은 약 4649ms, p99는 55132ms입니다. 제가 동의하는 README의 주의사항은 다음과 같습니다: deepset에는 독일어 행이 포함되어 있고 모델은 영어 전용입니다; 공개 세트와의 학습 중복(training overlap)을 배제할 수 없습니다; 보고서의 PINT 행은 PINT 점수가 아니라 공개 8개 행 예시 파일입니다; Llama Prompt Guard 2는 접근 제한적이며 저는 이를 평가하지 않았습니다.`
브라우저 빌드는 방문자의 브라우저에서 onnxruntime-web을 사용한 동일한 DeBERTa v2 모델이며, 8비트 가중치만 포함된 빌드(256MB, GitHub Pages에서 제공되며 클릭 시에만 로드됨)입니다. fp32 ONNX와 비교했을 때, 제외된(held out), 개발(dev), deepset 테스트 세트 모두에서 동일한 레이블을 제공했습니다. 싱글 스레드 추론은 빌드 박스 내 헤드리스 Chrome에서 p50 245ms였습니다. 이 확인은 여전히 데모입니다. 라이브 데모에서의 서버 측 강제 적용은 BLEEDSTOP_DETECTOR가 설정될 때까지 구문 목록(phrase list)을 유지합니다. README에는 사이드카를 위한 무료 Docker 호스팅이 이용 불가능하다고 명시되어 있는데, 이는 Hugging Face Docker Spaces가 PRO 플랜을 필요로 하기 때문이며, 이것이 데모가 대신 브라우저에서 모델을 실행할 수 있는 이유입니다.
결정 자체가 모델은 아닙니다
탐지기 점수는 돈을 소모하지 않습니다. POST /decide는 여전히 규칙에 따라 ALLOW, LIMIT, CHALLENGE 또는 DENY를 반환하며, Redis가 예산을 강제 적용합니다. 사례 연구의 골든 세트(golden set)는 주입 테이블과는 다른 측정치입니다: 12,140개의 레이블링된 요청, 정밀도(precision) 100%, 무해한 오탐률(benign false positive rate) 0.0%, 재현율(recall) 48.0%. 골든 세트와 규칙은 같은 작성자를 공유하므로, 저는 그것을 필드 결과라고 부르지 않습니다.
MCP 경로에서는 README에 따르면 모든 tools/call이 다음 순서로 통과합니다: 정의 핀(definition pin) (최초 사용 시 신뢰, 이름에 대한 sha256, 설명, inputSchema 및 주석), 도구 설명 오염 스캔(tool description poisoning scan), config/mcp-policy.cedar의 테넌트별 Cedar 정책, 인수에 대한 에이전트 주입 방지(agent injection guard), 그리고 일반적인 예산 결정입니다. 도구 결과는 간접 주입에 대해 스캔됩니다. MCP_GATEWAY_MODE=shadow는 차단 없이 로깅합니다. 위협 매핑은 docs/THREAT-MODEL.md에 있습니다.
npm run evals:mcp의 경우, 수동으로 작성된 70개의 도구 정의에 대해 README는 포이즈닝 스캔 정밀도(precision) 100%, 재현율(recall) 80%(25개 중 20개), 거짓 양성률(false positive rate) 0%(45개 중 0개)를 보고합니다. Rug pull 탐지기는 변경되지 않은 목록 45개에서 오경보가 0건인 상태로, 180개의 변이체 중 180개를 포착했습니다. HTTP를 통해 tools/call당 지연 시간(latency)을 n=2000으로 측정했을 때 p50은 2.21ms, p95는 2.84ms, p99는 3.89ms였습니다. 누락된 경우는 README에서 미묘하고 정중하다고 언급한 25개 포이즈닝 중 5건이며, 트리거 구문(trigger phrase)은 없습니다. 제가 해당 평가 세트(eval set)를 작성했기 때문에 재현율을 낙관적으로 간주합니다. README도 같은 내용을 명시하고 있습니다.
주장하지 않을 내용 (What I will not claim)
- 96.4%를 보류 성능(held out performance)으로 인용하지 않겠습니다. 이는 구문 목록이 튜닝된 개발 세트(dev set)입니다.
- 77.5%를 구문 목록의 수치로 인용하지 않겠습니다. 이는 거짓 양성률 5% 기준으로, 보류 세트 80개에 대한 분류기(classifier) 성능입니다.
- 브라우저 모델이 API를 보호한다고 말하지 않겠습니다. 그렇지 않습니다.
- 서버 분류기가 공개 데모에서 작동한다고 말하지 않겠습니다.
BLEEDSTOP_DETECTOR가 설정될 때까지 비활성화되어 있습니다.
- Fail open은 죽은 사이드카(sidecar)가 구문 목록의 판결을 유지한다는 의미입니다. 만약 차단하기 위해 죽은 사이드카가 필요하다면, 그것이 클로즈 모드(closed mode)이며, 이 경우 사이드카가 단순히 다운되어도 차단됩니다.
BleedStop repo · Case study · Cost guard deep dive · Hire me
원래 게시된 곳: https://osamamalik.me/blog/prompt-injection-defence.html