LLM 입력을 보호하기 위한 로컬 우선 프롬프트 정화 계층 (오픈 소스)

이 서브레딧의 많은 이들은 클라우드 제공업체에 데이터를 보내고 싶지 않기 때문에 언어 모델을 로컬에서 실행합니다. 하지만 모델이 사용자의 기기에 있더라도, 생각 없이 프롬프트나 로그에 비밀 정보를 붙여넣기 쉽습니다.

제 개인적인 실험을 위해 이 문제를 해결하고자, 프라이버시 방화벽 (privacy firewall) 역할을 하는 작은 JS SDK 및 브라우저 확장 프로그램인 PrivacyAI를 구축했습니다. 이는 정규 표현식 (regex) 및/또는 로컬 탐지기를 사용하여 프롬프트 내의 개인정보 (PII: 이메일, 전화번호, API 키 등)를 플레이스홀더 (placeholder)로 교체하며, 모델이 응답할 때 민감한 부분을 복구할 수 있도록 매핑 (mapping)을 추적합니다. 원래 ChatGPT와 Claude를 위해 설계되었지만, 오픈 소스이기 때문에 사용자의 자체 엔드포인트로 지정하거나 셀프 호스팅 스택 (self-hosted stacks)에 통합할 수 있습니다.

핵심 패키지인 @privacy-ai/sdk는 완전히 오프라인으로 실행될 수 있습니다. PII 탐지를 위해 Ollama 또는 LM Studio와 같은 로컬 모델을 사용하도록 구성할 수 있습니다. 환경 변수를 통해 자체 베이스 URL (base URL), API 키, 모델을 설정할 수 있습니다. 간단한 예시는 다음과 같습니다:

PRIVATE_AI_BASE_URL=http://127.0.0.1:11434/v1
PRIVATE_AI_API_KEY=ollama
PRIVATE_AI_MODEL=qwen3.5:2b
...

그 다음 코드에서는 다음과 같이 사용합니다:

import { PrivateAI } from "@privacy-ai/sdk";
const client = new PrivateAI({
baseURL: process.env.PRIVATE_AI_BASE_URL,
...

또한 저장소(repo)에는 브라우저에서 정화기 (sanitizer)를 실행하는 웹 데모가 있어, 아무런 설정 없이도 테스트해 볼 수 있습니다.

로컬 LLM 사용자들은 프라이버시와 제어권을 중요하게 생각하는 경향이 있기 때문에 이것을 이곳에 공유합니다. 비슷한 접근 방식을 시도해 보았거나 이 패턴에 대한 비판적인 의견이 있다면 기꺼이 듣고 싶습니다.

제출자: /u/StudyJee529
[link] [comments]