공격자가 공격하기 전에 AI 에이전트를 테스트하는 오픈 소스 도구, AgentSec을 만들다

당신의 AI 에이전트가 모든 테스트를 통과했습니다.

훌륭합니다. 이제 그것을 공격해 보세요.

악의적인 문서가 에이전트에게 지침 무시를 지시하면 어떻게 될까요? MCP 도구 설명에 숨겨진 지침이 포함되어 있다면요? 에이전트가 두 개의 도구를 독립적으로 사용할 권한을 가지고 있지만, 위험하게 결합하여 사용한다면 어떨까요?

제가 관심 있는 실패 유형은 바로 이런 것들입니다.

그래서 저는 자율 AI 에이전트를 위한 오픈 소스 적대적 보안 테스트 프레임워크인 AgentSec을 만들었습니다.

🔗 GitHub: https://github.com/invarislabs/invaris-agentsec

이 도구를 만든 이유

우리는 AI 에이전트에게 점점 더 강력한 도구에 대한 접근 권한을 부여하고 있습니다.

파일 읽기, 코드 실행, 데이터베이스 접근, API 호출, 다른 에이전트와의 상호 작용 등이 가능합니다.

하지만 문제가 있습니다.

도구를 사용할 수 있는 권한이 있다고 해서 그 도구의 모든 사용이 승인된다는 것을 의미하지 않습니다.

그리고 정상적인 테스트 과정에서 올바르게 작동하는 에이전트라도, 악성 지침에 노출되면 매우 다르게 행동할 수 있습니다.

저는 프로덕션 환경에서 발생하기 전에 이러한 실패를 테스트할 방법을 원했습니다.

AgentSec이 테스트하는 것들

AgentSec은 다음과 같은 에이전트 워크플로우의 보안 및 신뢰성 실패를 개발자가 찾도록 돕기 위해 설계되었습니다:

• 프롬프트 주입 (Prompt injection): 신뢰할 수 없는 콘텐츠가 에이전트를 리디렉션할 수 있습니까?
• 무단 도구 사용 (Unauthorized tool use): 에이전트가 사용자 의도된 작업을 벗어난 행동을 합니까?
• 비밀 누출 (Secret leakage): 민감한 정보가 에이전트 출력이나 도구 호출을 통해 유출될 수 있습니까?
• 메모리 오염 (Memory poisoning): 악성 정보가 미래의 결정에 영향을 미칠 수 있습니까?
• MCP 공격 (MCP attacks): 오염된 도구 설명이나 악성 도구 응답이 에이전트를 조작할 수 있습니까?
• 위험한 도구 조합 (Dangerous tool combinations): 개별적으로 허용된 행동들이 연결될 때 유해해질 수 있습니까?
• 다중 에이전트 권한 남용 (Multi-agent privilege abuse): 위임된 워크플로우가 권한 경계를 넘나들 수 있습니까?

핵심 아이디어는 간단합니다:

단지 AI 에이전트가 작업을 완료할 수 있는지 테스트하는 것이 아니라, 언제 행동하지 말아야 하는지 아는지 테스트해야 합니다.

오픈 소스입니다. 그리고 저는 여러분이 이것을 부숴주길 바랍니다.

저는 Invaris Labs에서 AgentSec을 개발하고 있으며, AI 에이전트, LLM 애플리케이션, MCP 서버 및 에이전트 프레임워크를 사용하는 개발자분들의 피드백을 받고 싶습니다.

특히 LLM이 실제 도구와 상호작용할 수 있게 하는 무언가를 구축하는 분들이라면 더욱 환영합니다.

제가 부탁드릴 것은 다음과 같습니다:

1. AgentSec을 사용해 보세요. 여러분이 만들고 있는 에이전트나 MCP 서버를 대상으로 테스트해 주세요.
2. 사각지대를 찾아주세요. 현재 커버하지 못하는 공격이나 워크플로우는 무엇일까요?
3. 피드백을 공유해 주세요. GitHub 이슈를 열거나, 개선 사항을 제안하거나, 작동하지 않았던 부분을 알려주세요.

저는 특히 여러분이 겪었던 실제 에이전트 보안 문제에 대한 이야기를 듣고 싶습니다.

다음 방향 설정을 도와주세요

🔗 AgentSec 사용해 보기: https://github.com/invarislabs/invaris-agentsec

⭐ 유용하다고 생각하시면 저장(Star)해주세요.

🔁 AI 에이전트를 구축하는 개발자들과 공유해주세요.

💬 피드백을 위해 이슈를 열거나 아래에 댓글을 달아주세요.

에이전트를 구축하는 모든 분들께 질문 하나 드립니다:

여러분의 AI 에이전트가 여러분이 명시적으로 요청하지 않았는데 가장 무서운 행동을 했던 것은 무엇인가요?

여러분들의 이야기를 듣고 싶습니다.

에이전트 보안을 우리가 가정하는 것이 아니라, 테스트하는 것이 되도록 합시다.