모든 AI 앱이 이제 해킹 가능해졌습니다.

그리고 누군가가 방금 인터넷에 그 플레이북(playbook)을 넘겨주었습니다.

단 하나의 도구가 아닙니다.

열 개도 아닙니다.

수백 개의 AI 해킹 및 보안 (security) 도구들입니다.

완전한 오픈 소스 (open source)입니다.

저장소 (repository) 내부에는 다음과 같은 것들이 포함되어 있습니다:

• LLM 탈옥 (jailbreak) 프레임워크
• 프롬프트 인젝션 (Prompt injection) 공격 키트
• AI 레드팀 (red-team) 에이전트
• 모델 추출 (Model extraction) 도구
• 공급망 공격 (Supply-chain attack) 데모
• 자동화된 AI 모의 해킹 (pentesting) 프레임워크

이것들은 무작위 스크립트가 아닙니다.

이것들은 보안 연구원들이 실제 공격자들이 하기 전에 AI 시스템을 무너뜨리기 위해 사용하는 기술들과 동일한 범주의 기술들입니다.

이제 누구나 이를 연구할 수 있게 되었습니다.

이것은 AI에 일어날 수 있는 가장 좋은 일이자...

가장 나쁜 일입니다.

왜냐하면 가장 큰 위험은 AGI가 아니기 때문입니다.

보안 테스트가 전혀 이루어지지 않은 채 배포되는 수백만 개의 보안 취약한 AI 앱들입니다.

오늘날 대부분의 AI 제품은 다음 사항들에 대해 테스트를 거친 적이 없습니다:

→ 프롬프트 인젝션 (Prompt injection) 공격
→ 탈옥 (Jailbreak) 저항성
→ 민감한 데이터 유출
→ 에이전트 탈취 (Agent takeovers)
→ 모델 추출 (Model extraction)
→ 도구 오용 (Tool abuse)

단 한 번의 성공적인 프롬프트...

단 하나의 간과된 취약점...

그리고 당신의 AI 어시스턴트는 공격 표면 (attack surface)이 될 수 있습니다.

오픈 소스 (Open source)는 AI 혁신을 가속화하고 있습니다.

동시에 AI 공격도 가속화하고 있습니다.

승자는 가장 똑똑한 모델을 가진 기업이 아닐 것입니다.

그들의 모델이 뚫리지 않는 기업이 승자가 될 것입니다.

저장소 링크는 댓글에 있습니다. 👇
[IMG:1]