AI 보안 시스템 구축 및 테스트를 위한 10개 GitHub 저장소

AI 보안은 AI 자체만큼 중요해지고 있습니다.

안전한 AI 시스템을 구축하고 있다면 다음 오픈 소스 프로젝트들을 탐색할 가치가 있습니다:

1. Garak
   취약점, 약점 및 원치 않는 동작에 대해 LLM(대규모 언어 모델)을 테스트합니다.

2. PyRIT
   생성형 AI 시스템의 레드팀(Red-team) 공격을 수행하고 잠재적 위험을 발견합니다.

3. Promptfoo
   보안 문제를 위해 프롬프트, 모델 및 AI 애플리케이션을 평가합니다.

4. Rebuff
   프롬프트 인젝션(prompt injection) 공격을 탐지하고 방어합니다.

5. LLM Guard
   LLM 애플리케이션에 보안 검사 및 안전장치를 추가합니다.

6. Vigil
   잠재적인 보안 위협에 대해 LLM의 입력과 출력을 스캔합니다.

7. NeMo Guardrails
   AI 애플리케이션에 프로그래밍 가능한 안전 및 제어 계층을 추가합니다.

8. Giskard
   신뢰성 및 보안 위험에 대해 AI 모델을 테스트하고 평가합니다.

9. DeepTeam
   LLM 애플리케이션의 레드팀 공격을 수행하고 보안을 테스트합니다.

10. FuzzyAI
    자동화된 퍼징(fuzzing)을 사용하여 AI 시스템의 취약점을 테스트합니다.

이 스택을 저장하세요.

AI를 구축하는 것은 한 가지입니다.
공격을 처리할 수 있는 AI를 구축하는 것은 또 다른 문제입니다.