OWASP LLM Applications Top 10은 사용자가 프롬프트(Prompt)를 보내고 응답을 읽는 세상을 위해 작성되었습니다. 모델이 행동을 시작할 때 — 즉, 사용자의 개입(Human in the loop) 없이 파일 시스템을 읽고, Python 코드를 작성하며, 외부 API를 호출할 때 — 동일한 위험들이 사라지지 않습니다. 오히려 그 위험들은 복합적으로 작용합니다. 각각의 자율적인 행동은 새로운 공격 표면(Attack surface)이 되며, 에이전트가 생성한 코드는 세션보다 오래 지속되는 영구적인 산출물(Artifact)이 됩니다.

아직 별도로 발표된 OWASP "Agentic AI Top 10"은 없습니다. 현재 존재하는 것은 에이전트 시스템에 규율 있게 적용된 표준 LLM Top 10입니다. Claude Code, Cursor 또는 자율 코딩 파이프라인(Autonomous coding pipelines)을 사용하여 개발하는 Python 개발자들은, AI가 단순히 질문에 답하는 것이 아니라 코드를 직접 작성할 때 이 10가지 위험 중 어떤 것들이 가장 강력하게 작용하는지 알아야 합니다.

Agentic 위험이 표준 LLM Top 10에 추가하는 요소

OWASP LLM Top 10은 AI 모델을 호출하는 애플리케이션의 위험을 다룹니다. 하지만 AI가 자율적인 행동(코드 실행, 도구 호출, 파일 수정 등)을 취하는 에이전트 시스템은 두 번째 범주, 즉 에이전트 자체가 무기화되거나 의도된 범위를 초과할 위험을 도입합니다. BrassCoders는 코드 계층의 발현 양상, 즉 에이전트가 생성하는 Python 파일 내의 안전하지 않은 서브프로세스(Subprocess) 호출, SQL 인젝션(SQL injection), 자격 증명 유출(Credential leaks) 문제를 다룹니다.

OWASP Top 10 for LLM Applications는 "과도한 권한(Excessive Agency)"을 LLM08로 나열합니다. 이는 AI 모델이 작업에 필요한 것보다 더 많은 권한을 보유하고 운영자가 예상하지 못한 행동을 취할 위험을 의미합니다. 에이전트 코딩 맥락에서 이는 높은 수준의 액세스를 가정하거나, 시스템 디렉토리에 쓰기를 수행하거나, shell=True를 사용하여 자식 프로세스(Child processes)를 생성하는 생성된 코드로 나타납니다. Bandit은 이러한 서브프로세스 패턴을 B602 및 B603으로 표시합니다. 이 위험은 생소한 것이 아닙니다. 작업 사양이 불분명할 때 에이전트가 가장 허용 범위가 넓은 도구를 선택함으로써 발생하는 직접적인 결과입니다.

두 번째 증폭 요인은 범위(scope)입니다. 챗봇의 실패 모드(failure mode)는 잘못된 답변을 내놓는 것이지만, 자율 에이전트(autonomous agent)의 실패 모드는 백도어가 포함된 커밋된 디프(diff), CI를 통과하는 하드코딩된 API 키, 또는 실제 어떤 패키지에도 존재하지 않는 유령 임포트(phantom import)입니다. 이러한 실패 모드는 버전 관리 시스템(version control)에 그대로 남게 됩니다.

Python 개발자에게 가장 관련성이 높은 5가지 에이전트 위험

BrassCoders는 에이전트 위험이 코드 계층에서 나타나는 양상들을 다룹니다. 즉, 안전하지 않은 도구 호출(에이전트가 트리거하는 shell=True subprocess 호출), 에이전트가 생성한 코드 내의 자격 증명 노출(credential exposure), 그리고 자율 에이전트가 생성한 Python 파일 내의 프롬프트 인젝션(prompt injection) 흔적 등이 이에 해당합니다.

첫 번째는 소스 내의 프롬프트 인젝션(prompt injection)입니다. 에이전트가 주석, 독스트링(docstring), 또는 사용자가 제공한 문자열을 읽고 다음 동작을 재지정하는 경우입니다. 파이프라인이나 챗봇을 구축하는 Python 개발자들은 특히 취약한데, 사용자 텍스트가 함수 호출로 직접 흘러 들어가고 에이전트가 그 결과를 실행하기 때문입니다.

두 번째는 생성된 subprocess 호출에서 나타납니다. Claude Code와 Cursor 모두 subprocess.run()을 작성합니다. 작업이 모호할 때 에이전트는 shell=True를 사용하려 합니다. Bandit은 이를 B602 및 B603으로 플래그(flag)를 지정하며, BrassCoders는 AI 어시스턴트가 다음 검토 주기에서 읽게 될 YAML 출력 결과에 이 두 가지를 모두 노출합니다.

세 번째는 자격 증명 노출(credential exposure)입니다. 에이전트는 설정 파일과 초기화 코드를 생성합니다. 에이전트는 환경 변수(environment variable) 이름을 환각(hallucinate)하고, 그 대안으로 문자열 리터럴(string literals)을 삽입합니다. 그 결과, 실제 비밀 값(secret)이 기본값으로 커밋되는 상황이 발생합니다. BrassCoders는 Yelp의 detect-secrets를 상위 라이브러리로 사용하고 스캐너 계층에 커스텀 패턴을 추가하여 AWS 액세스 키, GitHub PAT, OpenAI 키, Stripe 라이브 키 등 20개 이상의 비밀 형식(secret formats)을 스캔합니다.

네 번째는 팬텀 임포트 (phantom imports) 및 공급망 노출 (supply chain exposure)입니다. AI 모델은 존재하지 않는 라이브러리나, 다른 네임스페이스(namespace) 하에 있는 알려진 패키지와 이름이 같은 라이브러리를 확신을 가지고 임포트합니다. 팬텀 임포트는 의존성 혼란 공격 (dependency confusion attacks)의 벡터가 됩니다. BrassCoders의 AI 패턴 스캐너는 생성된 Python 코드 내의 팬텀-API (phantom-API) 사용을 구체적으로 타겟팅합니다.

다섯 번째는 생성된 쿼리에서의 SQL 인젝션 (SQL injection)입니다. 에이전트는 컨텍스트 (context)에 대한 패턴 매칭을 통해 데이터베이스 상호작용 코드를 작성합니다. 이 과정에서 쿼리 위치에 f-string을 직접 생성하기도 합니다. BrassCoders가 실행하는 Meta 개발 타이트 분석 (taint analysis) 엔진인 Pysa는 사용자 입력부터 쿼리 호출까지의 데이터 흐름을 추적합니다.

Python 팀이 실제로 따를 수 있는 체크리스트 구축하기

Python 개발 환경을 위한 실질적인 에이전트 보안 체크리스트는 세 가지 단계로 나뉩니다: 에이전트가 생성한 코드를 스캔하고 (BrassCoders가 이 단계를 담당합니다), 에이전트가 접근할 수 있는 도구를 감사하며 (최소 권한 원칙, principle of least privilege), CI에서 에이전트가 수행하는 모든 자율적인 작업을 로그로 남기는 것입니다.

1단계는 단일 CI 단계입니다: 워크플로우에 brasscoders scan .을 추가하세요. 그러면 Bandit, Pylint, Pyre/Pysa, Semgrep, ast-grep, detect-secrets 및 6개의 커스텀 탐지기를 포함한 총 12개의 스캐너가 실행되며, 결과는 YAML 형식으로 출력됩니다. 추가 설정은 필요 없으며, 연결하는 데 5분이면 충분합니다.

2단계는 접근 제어 (access control)입니다. NIST AI 위험 관리 프레임워크 (NIST AI Risk Management Framework)는 이를 "거버넌스 (govern)"라고 부릅니다. 즉, AI 시스템이 어떤 데이터와 작업에 접근할 수 있는지 정의하는 것입니다. Python 에이전트의 경우, 이는 명시적인 범위 (scope)를 가진 도구 정의, 프로젝트 디렉토리 외부의 파일 시스템 쓰기 권한 제한, 그리고 테스트 환경에서 에이전트가 생성한 코드의 외부 HTTP 요청 금지를 의미합니다.

3단계는 로깅 (logging)입니다. 에이전트가 에디터에서 대화형으로 실행되는 것이 아니라 CI에서 자율적으로 실행될 때, 모든 도구 호출은 구조화된 로그 (structured log)에 기록되어야 합니다. 이는 생소한 보안 엔지니어링이 아닙니다. 외부 부작용 (side effects)이 있는 모든 자동화된 프로세스에 추가하는 것과 동일한 감사 추적 (audit trail)입니다.

이 계층들 중 어느 것도 다른 계층을 대체하지 않습니다. 코드 계층 (code layer)에서의 보안은 잘못 설정된 도구 권한을 잡아내지 못합니다. 최소 권한 액세스 제어 (Least-privilege access control)는 노출된 비밀 정보 (secret)를 잡아내지 못합니다. 로깅 (Logging)은 SQL 인젝션 (SQL injection)을 잡아내지 못합니다. 이 세 가지는 모두 병렬로 실행되어야 합니다.

BrassCoders가 다루는 에이전트 위험 표면 (Agentic Risk Surface)

BrassCoders는 에이전트가 코드를 생성한 후에 실행됩니다. 즉, AI 코딩 에이전트가 남기는 보안 아티팩트 (security artifacts), 즉 하드코딩된 자격 증명 (hardcoded credentials), 생성된 쿼리의 SQL 인젝션 (SQL injection), 안전하지 않은 서브프로세스 호출 (unsafe subprocess calls), 그리고 에이전트가 생성한 Python 코드 내의 팬텀 임포트 (phantom imports)를 잡아냅니다.

벤치마크 결과가 이를 직접적으로 보여줍니다. 대표적인 Python 코드를 대상으로 진행된 12개의 AI 생성 보안 버그에 대한 공개 테스트에서, Bandit만으로는 12개 중 6개만을 잡아냈습니다. 반면 BrassCoders는 12개 중 11개를 잡아냈습니다. 이러한 차이는 Bandit에는 없는 계층인 커스텀 스캐너들 — AI 패턴 탐지기 (AI-pattern detector), 개인정보/PII 스캐너 (privacy/PII scanner), 그리고 Pyre/Pysa를 통한 오염 분석 (taint analysis) — 에서 발생합니다. 특히 에이전트 기반 코드의 경우, AI 패턴 스캐너와 비밀 패턴 스캐너 (secret-pattern scanner)의 비중이 가장 높습니다. 에이전트는 인간 개발자와는 다른 비율로 환각된 (hallucinated) API 호출과 폴백 자격 증명 (fallback credentials)을 생성하기 때문입니다.

OSS 코어 버전은 무료입니다. Apache 2.0 라이선스를 따르며, 계정이 필요 없고, 외부 네트워크 호출이 전혀 없습니다. pip install brasscoders로 설치하고, 어떤 Python 프로젝트에 대해서든 brasscoders scan .을 실행하면 됩니다. BrassCoders Paid 버전은 호스팅된 게이트웨이를 통해 임베딩 기반의 보강 단계 (enrichment pass)를 추가하여, 원시 탐지 결과의 순위를 매기고 중복을 제거합니다. 유료 플랜은 개발자당 월 $12이며, 게이트웨이는 이미 익명화된 (redacted) 탐지 결과와 최대 7,500자 이내의 프로젝트 시그니처 (project signature)만을 전송하며, 원본 소스 코드는 절대 전송하지 않습니다.

에이전트 AI가 좋은 코드의 정의를 바꾸지는 않았습니다. 다만 나쁜 코드가 축적되는 속도를 바꾸었을 뿐입니다.