SiGiL Sentry: 자체 호스팅 LLM 환경을 위한 경량 Go 방화벽 (Ollama 및 로컬 프라이버시)

r/SelfHosted 커뮤니티 여러분, 만약 로컬 LLM(Ollama, LocalAI, vLLM)을 실행하거나 자체 호스팅 에이전트를 사용한다면, 주요 위험 중 하나는 신뢰할 수 없는 데이터를 모델에 주입하는 것입니다. 이는 프롬프트 컨텍스트 내의 우발적인 API 키 유출일 수도 있고, 로컬 에이전트 루프를 가로채는 간접적인 프롬프트 인젝션(prompt injection)일 수도 있습니다. 기존의 LLM 보안 가드레일(security guardrails) 대부분은 무거운 Python 서비스나 클라우드 SaaS API 형태라, 로컬에서 개인 모델을 운영하려는 본래 목적 자체를 무력화시킵니다.

저는 이 문제를 네트워크 경계에서 로컬로 해결하기 위해 SiGiL Sentry를 만들었습니다. 이것이 무엇인지 설명드리자면: 자체 호스팅 LLM 엔드포인트나 로컬 API 클라이언트 바로 앞에 위치하는, Go 언어로 작성된 가볍고 의존성 없는 리버스 프록시(reverse proxy)입니다.

왜 자체 호스팅 스택에 적합한가:

• 100% 로컬 및 프라이버시 우선: 오직 사용자 네트워크 경계 내부에서 작동합니다. 외부 원격 측정(telemetry)이나 제3자 전화 연결 호출은 전혀 없습니다.
• 5ms 미만의 오버헤드: 순수 Go 패턴 매칭 엔진으로, 토큰 생성 속도나 GPU 처리량에 병목 현상을 일으키지 않습니다.
• 자동 비밀 정보 제거(Automatic Secret Scrubbing): 프롬프트가 메모리, 로그 또는 외부 API에 도달하기 전에 Anthropic (sk-ant-), OpenAI (sk-), GitHub PATs, PEM 키 등을 [REDACTED-SECRET] 마커로 수정합니다.
• 위협 검사: 수신 페이로드에서 프롬프트 인젝션 시도와 시스템 프롬프트 오버라이드(system prompt overrides)를 플래그 지정합니다.
• Docker 네이티브: 기존 스택과 함께 Docker Compose를 통해 단일 컨테이너로 배포됩니다. 핵심 Sentry 엔진은 완전히 오픈 소스입니다 (Apache 2.0).

실시간 인터랙티브 샌드박스(Live Interactive Sandbox): https://sentry.sigil-framework.space
GitHub 저장소: https://github.com/kadehood-404

자체 호스팅 커뮤니티 여러분의 추가적인 위협 벡터, 로컬 로깅 통합 또는 자체 호스팅 환경을 위한 기능 요청에 대한 피드백을 받고 싶습니다!
submitted by /u/SiGiL-Framework [link] [comments]