LLM을 위한 86µs 개인정보 보호 프록시 구축 방법 (930만 프롬프트, 19억 4천만 토큰 벤치마크)

[Client App]
   │
   │ (Raw Prompt: 

1. **프롬프트 가로채기 (Prompt Interception):** 에지 네트워크를 떠나기 전에 원본 프롬프트를 가로챕니다.
2. **고속 정규 표현식 및 섀넌 엔트로피 스캐닝:** 서브밀리초(sub-millisecond) 속도로 109개국 PII, 금융 식별자(IBAN, Luhn 검증을 거친 신용카드), 그리고 비밀 정보를 감지합니다.
3. **가역적 토큰화 (Reversible Tokenization):** 엔티티를 암호학적으로 범위 지정된 유형의 토큰(`EMAIL_1`, `CARD_1`, `SSN_1`)으로 대체합니다.
4. **스트리밍 재수화 (Streaming Rehydration):** 업스트림 모델이 서버 전송 이벤트(Server-Sent Events, SSE)를 통해 토큰을 스트리밍하는 동안, 프록시는 원본 값을 실시간으로 동적으로 복원합니다. 클라이언트는 제로 모델 환각이나 문자 드리프트가 없는 깨끗하고 맥락적인 출력을 받습니다.

## 벤치마크: 933만 개 프롬프트 및 19억 4천만 토큰

합성 더미 문자열로 테스트하는 것은 결코 충분하지 않습니다. 실제 프롬프트에는 지저분한 구두점, 코드 스니펫, 수학 기호, 유니코드 이모지, 추적 번호 등이 포함되어 있습니다.

당사의 벤치마크 코퍼스는 5가지 주요 데이터셋을 조합하여 94개의 Apache Parquet 로우 그룹으로 구성되었습니다:

-   **LMSYS Chatbot Arena:** 최첨단 LLM과의 실제 다중 턴 대화 252만 건.
-   **OpenOrca:** 기술 지침, Python 스택 트레이스, UUID, SQL 문장 등 291만 건.
-   **WildChat:** 에지 유니코드 구분자를 포함하는 필터링되지 않은 글로벌 프롬프트 215만 건.
-   **Enron Email Corpus:** 기업 이메일 헤더, 서명 및 전화번호 102만 건.
-   **Customer Support Twitter:** 추적 번호(FedEx, UPS)가 포함된 비정형 불만 접수 73.4만 건.
-   **Sovereign ID Synthesis:** 109개 관할권에 걸친 알고리즘 테스트 벡터 (Aadhaar, SSN, NRIC, Codice Fiscale).

## 결과

모든 프롬프트는 토큰화되고, 재수화되었으며, 엄격한 바이트 대 바이트 정확 일치(`rehydratedText === originalPrompt`)를 위해 평가되었습니다:

| Metric | Measured Value | Standard |
| --- | --- | --- |
| Exact Roundtrip Fidelity | 100.00% | Zero character drift |
| ... |

OpenAI의 API 사양을 따르기 때문에 별도의 SDK가 필요하지 않습니다. 단순히 `baseURL`을 프록시로 지정하기만 하면 됩니다:

업스트림 모델이 실제로 받는 내용:

> "EMAIL_1로 $4,500 청구서를 보내주세요."

귀하의 애플리케이션이 돌려받는 내용:

> "$4,500 청구서가 [[email protected]](mailto:[email protected])로 발송되었습니다."

## 직접 사용해 보기

회원 가입 없이 웹 플레이그라운드에서 프롬프트 토큰화, 검사(inspection), 재수화(rehydration)를 직접 테스트할 수 있습니다:

-   **실시간 플레이그라운드:** [projectspg.info](https://projectspg.info)
-   **전체 실증 벤치마크 보고서:** [projectspg.info/blog/benchmark](https://projectspg.info/blog/benchmark)

엣지 토큰화, 엔트로피 엣지 케이스(entropy edge cases), 그리고 규정 준수 아키텍처에 대한 여러분의 의견을 듣고 싶습니다!