모든 AI 코딩 어시스턴트(AI coding assistant)는 두 종류의 결과물을 생성합니다. 문제를 해결하는 코드와, 그 문제를 해결하는 동안 축적된 스캐폴딩(scaffolding)입니다. stdout에 요청 객체를 덤프하는 디버그 출력문(Debug print statements), localhost에서 작동했던 하드코딩된 데이터베이스 URL, 모델이 프로토타이핑 중에 우회했던 주석 처리된 @require_login 데코레이터 등이 그것입니다. 이러한 아티팩트(artifacts)들은 테스트를 실패시키거나 린터(linter)를 트리거하지 않습니다. 그대로 배포(ship)됩니다.

문제는 AI 어시스턴트가 보안에 취약한 코드를 작성한다는 것이 아닙니다. 문제는 개발 단계의 지름길(shortcuts)이 포함된 채로 작동하는 코드를 생성하며, 일반적인 리뷰 파이프라인(review pipeline) 중 그 어떤 것도 이러한 지름길을 찾아내지 못한다는 점입니다.

AI가 코드베이스에 남기는 4가지 아티팩트 범주

AI 코딩 어시스턴트는 작동하는 코드를 생성하지만, 개발 중에는 적절했을지라도 코드가 배포될 때 프로덕션의 부채(liabilities)가 되는 스캐폴딩 아티팩트들 — 디버그 출력문, 플레이스홀더 자격 증명(placeholder credentials), 주석 처리된 보안 체크, 하드코딩된 localhost 엔드포인트 — 도 함께 생성합니다. BrassCoders의 12가지 스캐너는 보안과 밀접한 하위 집합인 하드코딩된 자격 증명, 디버그 모드 설정 플래그(debug-mode configuration flags), 알려진 비밀 형식과 일치하는 플레이스홀더 값들을 포착합니다.

디버그 출력문은 개별적으로는 가장 낮은 위험을 가집니다. 단, password, token, 또는 api_key를 출력하지 않는다는 전제하에 말입니다. 하드코딩된 자격 증명은 중간 단계에 위치합니다. 이는 교체될 가능성이 낮은 정적 값이며, 피해 범위는 해당 자격 증명의 권한(scope) 내로 제한됩니다. 예를 들어, Django의 DEBUG = True 설정은 스택 트레이스(stack traces)를 노출하고, 보안 헤더를 비활성화하며, 캐싱 로직을 우회할 수 있습니다. 주석 처리된 보안 제어(security controls)는 가장 큰 위험을 수반합니다. 주석 처리된 @require_login 데코레이터는 개발자가 개발 중에 제어 장치를 우회했음을 의미하며, AI가 그 우회 상태를 그대로 보존했음을 의미합니다.

OWASP는 디버그 모드 설정 오류(debug-mode misconfigurations)와 안전하지 않은 기본 설정(insecure default settings)을 A05: 보안 설정 오류 (Security Misconfiguration)로 분류하며, 이는 2021년 Top Ten에서 5위를 차지했습니다. 이러한 패턴은 AI의 도움으로 구축된 코드베이스 전반에서 반복되는데, 이는 AI 어시스턴트가 배포하기에 안전한 코드(code that's safe to ship)가 아니라, 일단 실행되는 코드(code that runs)를 생성하는 것을 우선시하기 때문입니다.

코드 리뷰가 이를 지속적으로 놓치는 이유

BrassCoders는 비밀 정보(secrets) 및 보안 스캔의 일환으로 하드코딩된 자격 증명(hardcoded credentials)과 디버그 모드 지표(debug-mode indicators)를 탐지하지만, 코드 리뷰는 구조적인 이유로 이러한 흔적(artifacts)을 놓칩니다. 리뷰어는 기존 코드와 비교된 차이점(diffs)을 읽는데, AI가 생성한 코드는 커다란 블록 형태로 전달되어 작동하는 로직 사이에 이러한 흔적들이 보이지 않게 숨겨지기 때문입니다.

Claude Code나 Cursor가 생성한 300줄짜리 PR(Pull Request)을 평가하는 리뷰어는 로직이 올바른지, 함수 시그니처(function signatures)가 타당한지, 테스트가 엣지 케이스(edge cases)를 커버하는지를 평가합니다. 어시스턴트가 설정을 스캐폴딩(scaffolded)할 때 추가된 DEBUG = True라는 코드를 설정 파일의 세 단계 아래에서 찾아내는 것은 다른 종류의 주의력을 요구합니다. 리뷰어는

grep -r 'print|TODO|FIXME|localhost|debug' 명령을 통한 전수 조사는 고립된 상태에서 흔적(artifacts)을 찾아내지만, 로깅 유틸리티의 정당한 print 문, 테스트 설정 내의 유효한 localhost 참조, 문서 내의 TODO와 같이 의미 없는 신호를 만드는 오탐(false positives)을 생성합니다. BrassCoders의 스캐너는 패턴별 컨텍스트(context)를 적용하여 자격 증명 형태의 문자열과 부수적인 일치 항목을 구분합니다.

BrassCoders에 포함된 Yelp의 detect-secrets는 이를 자격 증명 계층(credential layer)에서 처리합니다. 이는 문자열 리터럴(string literals)에 대해 엔트로피 분석(entropy analysis)을 실행하고, 알려진 비밀 정보 형식인 AWS 액세스 키, GitHub PAT, Stripe 라이브 키, Slack 토큰, PEM 개인 키, JWT 등과 대조합니다. 엔트로피 임계값(entropy threshold)을 통해 단순히 자격 증명처럼 보이는 저엔트로피 문자열을 걸러냅니다. 이를 통해 오탐률이 신호를 실제로 조치할 수 있는(actionable) 범위까지 떨어집니다.

AI 패턴 스캐너는 실제 비밀 정보는 아니지만 알려진 자격 증명 형식과 패턴이 일치하는 플레이스홀더(placeholder) 값들을 위해 두 번째 패스(pass)를 추가합니다. FastAPI 예제를 생성하는 AI 어시스턴트는 api_key = "sk-1234567890abcdef"와 같은 코드를 작성할 수 있습니다. 이는 실제 OpenAI 키는 아니지만, 형태는 정확히 그것과 일치합니다. 스캐너는 이를 플래그(flag)합니다. 개발자는 이 플레이스홀더가 누군가 실제 키로 오해할 수 있는 PR(Pull Request)에 도달하기 전에 이를 확인하고 제거합니다.

BrassCoders가 결정론적으로 탐지하는 항목

BrassCoders의 비밀 패턴 스캐너는 인식 가능한 모든 형식의 하드코딩된 API 키와 토큰을 잡아냅니다. 보안 스캐너는 Django 설정의 DEBUG = True 및 기타 설정 안티 패턴(configuration anti-patterns)을 플래그합니다. AI 패턴 스캐너는 알려진 자격 증명 형식과 일치하는 플레이스홀더 값을 플래그합니다.

CI에 BrassCoders를 추가하면 모든 커밋 이후에 실행됩니다:

pip install brasscoders
brasscoders scan .

출력물은 귀하의 AI 리뷰어 — Claude Code, Cursor, 또는 현재 실행 중인 어떤 어시스턴트(assistant)가든 — 가 사용하는 YAML 파일입니다. 이 YAML은 스캐너 이름, 파일 경로, 줄 번호, 그리고 플래그(flag)가 지정된 내용에 대한 설명을 포함하여 아티팩트(artifact) 발견 사항을 가장 먼저 드러냅니다. 귀하의 AI 리뷰어는 이 구조화된 목록을 보고, 스캐폴딩(scaffolding)을 위해 전체 코드베이스를 스캔할 필요 없이 우선순위를 분류(triage)할 수 있습니다.

발표된 벤치마크에서 BrassCoders는 AI가 생성한 12개의 버그 중 11개를 잡아냈으며, 이는 Bandit만 사용했을 때 12개 중 6개를 잡아낸 것과 대조적입니다. 아티팩트 카테고리 — 디버그 모드 설정(debug-mode configuration), 플레이스홀더 자격 증명(placeholder credentials), 주석 처리된 제어 장치(commented-out controls) — 가 이 11개에 포함됩니다. Bandit은 설계된 대로 보안 패턴을 잡아냅니다. 커스텀 스캐너(custom scanners)는 Bandit이 설계되지 않았던 AI 특유의 스캐폴딩 패턴을 잡아냅니다.

커버리지(coverage)의 차이는 스캐너의 품질 문제가 아닙니다. 각 스캐너가 무엇을 탐지하도록 구축되었느냐의 문제입니다. BrassCoders는 AI 생성 코드 패턴을 위해 특별히 구축된 6개의 커스텀 스캐너를 포함하여, 총 12개의 스캐너를 한 번의 패스(pass)로 오케스트레이션(orchestrate)합니다. 오픈 소스(OSS) 코어는 무료이며 Apache 2.0 라이선스를 따릅니다. 단 한 번의 명령으로 시작할 수 있습니다.