GPT-Load: 가역적 텍스트 마스킹 기능을 갖춘 자체 호스팅형 AI 게이트웨이

안녕하세요, 저는 MIT 라이선스가 적용된 그리고 7,000개 이상의 GitHub 스타를 보유한 AI 게이트웨이인 GPT-Load의 제작자입니다. 이 시스템은 API 키와 지원되는 구독 계정을 한 곳에서 관리합니다. 클라이언트들은 이 게이트웨이를 통해 연결하며, 게이트웨이는 자격 증명 스케줄링(credential scheduling), 자동 장애 조치(automatic failover), 접근 제어(access controls), 요청 로그(request logs), 사용량 추적(usage tracking) 등을 처리합니다. Docker Compose로 실행하거나 단일 Go 바이너리로 실행할 수 있으며, 웹 UI가 포함되어 있고 기본적으로 SQLite를 사용합니다. 시작하기 위해 별도의 데이터베이스는 필요하지 않습니다. 제가 특별히 피드백을 받고 싶은 기능은 바로 가역적 요청 마스킹(reversible request redaction)입니다. 설정 가능한 정규 표현식 규칙(regex rules)이 일치하는 텍스트를 업스트림 서비스에 도달하기 전에 로컬에서 대체하거나 암호화합니다. 만약 모델이 온전하고 유효한 암호문(ciphertext)을 반환하면, GPT-Load는 응답 텍스트와 클라이언트 측 도구 인자(client-side tool arguments)에서 원래 값을 복원할 수 있습니다. 예를 들어, 이메일 주소는 모델에 도달하기 전에 암호화될 수 있으며, 이후 모델이 해당 암호문을 클라이언트로 반환하는 도구 호출에 포함하면 복원됩니다. 이 규칙들은 지원되는 텍스트 필드에 적용되며, 이미지 및 파일 내용은 처리되지 않습니다. 또한 선택적이고 실험적인 JEV 가드레일 통합(JEV guardrails integration)도 있습니다. 이는 나가는 텍스트를 사용자 정의 규칙과 비교 검토하고 일치하는 경우 경고하거나 차단할 수 있습니다. 외부 검토 서비스를 사용하며, 기본적으로 비활성화되어 있고, 실패했거나 불완전한 검토는 요청을 통과시킬 수 있습니다. 게이트웨이를 호스팅하는 것이지, 그 뒤에 있는 클라우드 모델을 호스팅하는 것은 아닙니다. 따라서 클라우드 제공업체들은 여전히 처리된 요청을 받게 되며, 사용자는 자체적인 업스트림 접근(upstream access)이 필요합니다. GitHub: https://github.com/tbphp/gpt-load 문서: https://www.gpt-load.com Docker 설정과 사용하시는 클라이언트에서 가역적 마스킹이 어떻게 작동하는지에 대한 피드백을 부탁드립니다. AI 고지: 이 게시물 초안 작성에 AI가 도움을 주었습니다. /u/Suspicious-Tutor-881 님이 제출함 [링크] [댓글]