바이브 코딩 (Vibe coding)은 빠릅니다. 원하는 것을 설명하면 AI가 작성하고, 바로 배포됩니다. 하지만 후회는 나중에 나타납니다. 100개 행에서는 괜찮지만 100,000개 행에서는 응답이 없는 O(N²) 루프, 문자열 리터럴에 포함되어 배포되는 API 키, 또는 PyPI에 존재하지 않는 패키지 같은 문제들 말이죠.

해결책은 30초면 충분합니다. 하지만 그 전에, 여러분이 실제로 무엇을 다루고 있는지 이해하는 것이 도움이 됩니다.

바이브 코딩이 잘하는 것

2025년 초 Andrej Karpathy가 명명한 바이브 코딩 (Vibe coding) — 즉, 한 줄씩 검토하는 과정을 최소화하며 AI가 생성한 코드를 수용하는 관행 — 은 개발 속도를 진정으로 높여줍니다. 프로토타입과 초기 단계의 제품을 위해서는 완벽하게 배포하는 것보다 빠르게 배포하는 것이 더 중요합니다. BrassCoders는 빠르게 움직이는 것을 대체하는 것이 아니라, 푸시(push) 전에 실행되는 안전망 스캔입니다.

Karpathy는 2025년 2월 포스트에서 이 패턴을 설명했습니다. 당신이 원하는 것을 설명하면, AI가 그것을 작성하고, 당신은 거의 읽지 않습니다. 문제는 빠르게 배포하는 것과 아무런 안전망 없이 배포하는 것이 같지는 않다는 점입니다.

AI 코딩 어시스턴트는 자신감은 있지만 컨텍스트(context)가 없는 협업자가 일하는 방식과 동일하게 코드를 생성합니다. AI는 여러분의 프로덕션 데이터 볼륨이나 비밀 관리(secret management) 관례를 알지 못한 채, 훈련 데이터로부터 수집된 그럴듯한 패턴을 빠르게 조립하여 적용합니다. 속도는 실재합니다. 하지만 검증은 여전히 여러분의 몫입니다.

바이브 코딩이 잘하는 것: 빈 페이지 문제(blank-page problem)를 제거합니다. 몇 시간 대신 몇 분 만에 실행 가능한 무언가를 얻을 수 있습니다. 어떤 구현이든 초기 80%는 거의 거저 얻는 것과 같습니다. 이는 속도를 늦출 여유가 없는 1인 개발자와 소규모 팀에게 진정한 생산성 향상을 가져다줍니다.

바이브 코딩이 하지 못하는 것: 여러분의 배포 컨텍스트(deployment context)를 읽는 것입니다. AI는 여러분의 데이터베이스에 50M 개의 행이 있다는 것을 모릅니다. 여러분의 팀이 실수로 .env 파일을 커밋한다는 것도 모릅니다. 방금 자신 있게 참조한 패키지가 실제로 발행된 적이 없다는 것도 모릅니다.

빠져나가는 네 가지 버그 클래스

BrassCoders가 12개의 AI 생성 Python 파일(2026년 6월)을 대상으로 실시한 벤치마크 결과, AI 코딩 어시스턴트(AI coding assistants)는 리뷰어가 일반적으로 놓치기 쉬운 네 가지 범주의 버그를 지속적으로 생성하는 것으로 나타났습니다: 데이터 처리 시의 $O(N^2)$ 성능 안티 패턴(performance anti-patterns), 커밋되는 예제 코드 내의 하드코딩된 자격 증명(hardcoded credentials), PyPI에 존재하지 않는 패키지 임포트(imports), 그리고 학습 데이터로부터 상속된 보안에 취약한 서브프로세스(subprocess) 및 SQL 패턴입니다.

자신이 생성한 코드를 검토하도록 요청받은 프런티어 모델(frontier model)은 이 모든 문제를 잡아냈습니다. 하지만 코드를 생성하는 동안에는 경고하지 않았습니다. 전체 벤치마크 결과는 coppersun.dev/blog/ai-coder-bug-benchmark/에 게시되어 있습니다.

**성능 안티 패턴 (Performance anti-patterns)**은 데이터 양이 늘어나기 전까지는 괜찮아 보입니다. 전형적인 예시는 다음과 같습니다:

# O(N²) 문자열 연결 — 각 += 연산마다 새로운 문자열을 할당함
csv_data = ""
for row in rows:
...

**하드코딩된 비밀 정보 (Hardcoded secrets)**는 AI가 예제 코드를 작성하고 그 예제가 커밋에 포함될 때 나타납니다:

# AI가 작동하는 예제를 생성함 — 개발자가 키를 인지하지 못한 채 복사함
client = openai.OpenAI(api_key="sk-proj-abc123realkey...")
db = psycopg2.connect("postgresql://admin:mypassword@prod-db/app")

**환각된 임포트 (Hallucinated imports)**는 컴파일은 정상적으로 되지만 런타임(runtime)에 실패하거나, 더 심각하게는 타이포스쿼터(typosquatter)가 지어낸 이름을 등록할 경우 공급망 공격(supply-chain attack)의 벡터가 됩니다. Lasso Security의 2024년 AI 생성 패키지 이름에 관한 연구는 이것이 드문 예외 사례가 아니라 주요 LLM 전반에서 측정 가능한 실패 모드(failure mode)임을 기록했습니다:

from fastapi_users_pydantic import UserManager  # PyPI에 존재하지 않음
import langchain_memory_redis  # 환각된 조합 패키지

**보안에 취약한 패턴 (Insecure patterns)**은 학습 데이터에서 흔히 볼 수 있기 때문에 관용적인(idiomatic) 코드처럼 느껴지는 것들입니다:

# f-string을 통한 SQL 인젝션 (SQL injection) — 고전적이며, 여전히 끊임없이 생성됨
query = f"SELECT * FROM users WHERE email = '{user_email}'"
cursor.execute(query)
...

각 카테고리는 서로 다른 종류의 실패를 의미합니다. 이 네 가지 모두는 AI 코딩 어시스턴트(AI coding assistants)가 정상적으로 작동할 때 흔히 발생하는 출력 결과입니다.

30초 만에 실행되는 단 하나의 명령어

brasscoders --offline scan . 명령은 프로젝트 디렉토리에 대해 12개의 정적 분석 스캐너(static-analysis scanners)를 실행하여, 위에서 언급한 네 가지 AI 코더 버그 카테고리를 모두 탐지하고, 순위가 매겨진 결과 목록을 .brass/ai_instructions.yaml에 작성합니다. 이 파일은 분류(triage)를 위해 Claude Code나 Cursor에 직접 붙여넣을 수 있도록 설계되었습니다. 네트워크 호출은 전혀 없습니다. 단 한 번의 pip install brasscoders면 충분합니다.

Bandit, Pylint, Pyre/Pysa, Semgrep, ast-grep, 그리고 Yelp의 detect-secrets 등 6개의 업스트림 도구(upstream tools)가 핵심 분석을 수행합니다. BrassCoders는 그 위에 6개의 커스텀 탐지기(custom detectors)를 추가합니다. 성능 탐지기(performance detector)는 O(N²) 안티 패턴(anti-patterns)을 잡아내고, AI 패턴 탐지기(AI-pattern detector)는 환각된 임포트(hallucinated imports)를 드러내며, 나머지 4개는 비밀번호 형식 매칭, 개인정보(PII), 콘텐츠 모더레이션(content moderation), 그리고 JavaScript/TypeScript를 다룹니다.

BrassCoders의 2026년 6월 벤치마크는 해당 카테고리 전반에 걸쳐 12개의 버그를 심어두고 동일한 파일에 대해 여러 스캐너를 실행했습니다. Bandit은 12개 중 6개를 잡아냈지만, 4개의 성능 안티 패턴 중 단 하나도 잡지 못했습니다. Pylint는 12개 중 1개를 잡아냈습니다. BrassCoders는 4개의 성능 버그를 포함하여 12개 중 11개를 잡아냈습니다. 이 벤치마크는 재현 가능하며, 방법론은 공개되어 있습니다.

설치 및 스캔:

pip install brasscoders
brasscoders --offline scan .

.brass/ai_instructions.yaml 출력물은 의도적으로 짧게 구성되었습니다. 심각도(severity), 컨텍스트(context), 그리고 읽는 법에 대한 노트가 포함된 순위가 매겨진 결과 목록입니다. BrassCoders는 패턴을 보고하고, 여러분의 AI 어시스턴트는 전체 소스 컨텍스트를 가지고 이를 분류(triage)합니다. 두 개의 도구가 각자의 역할을 수행하는 것입니다.

Pre-Commit에 연결하기

BrassCoders는 git commit이 성공하기 전에 실행되는 체크 단계인 프리커밋 훅(pre-commit hook)으로 작동합니다. 이렇게 설정하면 BrassCoders는 심각(CRITICAL)한 결과가 발견될 경우 0이 아닌 종료 코드(non-zero exit)를 반환하며 커밋을 차단합니다. 비밀번호(Secrets), 보안에 취약한 패턴, 그리고 환각된 임포트가 저장소(repo)에 들어오는 것을 방지합니다.

.pre-commit-config.yaml 항목은 5줄이면 충분합니다:

repos:
  - repo: local
    hooks:
...

pre-commit install을 사용하여 기존의 pre-commit 설정에 이를 추가하면, 훅(hook)이 모든 커밋 시 실행됩니다. 하드코딩된 자격 증명(credentials)이나 shell=True가 포함된 서브프로세스(subprocess) 호출을 커밋하려고 처음 시도할 때, 커밋은 정확한 위치를 가리키는 결과 요약과 함께 실패합니다.

Pre-commit은 코드가 기기에서 벗어나기 전에 명백히 잘못된 부분을 잡아내는 빠른 로컬 게이트(gate)입니다. CI 스캔(GitHub Actions 설정 포스트 참조)은 팀을 위한 권위 있는 게이트 역할을 하며, pre-commit은 실수로 삭제하지 않은 비밀 정보 때문에 CI 실행을 낭비하는 것을 방지합니다. 두 가지 모두 동일한 워크플로(workflow)에 포함되어야 합니다.

모델 리뷰가 놓치는 것을 BrassCoders가 잡아내는 방식

BrassCoders의 생성 모드(generation-mode) 벤치마크 조사에서, 6개의 현실적인 Python 작업을 부여받은 프런티어 모델(frontier model)은 보안 및 성능 영역 카테고리 전반에 걸쳐 5번 중 4번은 깨끗한 코드를 생성했지만, 생성 과정 중 선제적인 경고를 보낸 적은 단 한 번도 없었습니다. 이러한 패턴은 발표된 AI 코드 리뷰 연구 결과와 일치합니다. 즉, 생성(generation)과 리뷰(review)는 서로 다른 작업이며, 그럴듯한 코드 완성(code completion)을 최적화하는 모델은 자신이 생성하고 있는 패턴을 플래그(flag) 처리해야 할 내재적인 이유가 없습니다.

구체적인 격차는 다음과 같습니다: AI 어시스턴트는 사용자의 실제 데이터셋 크기를 모델링하기 때문이 아니라, 패턴을 컨텍스트(context)에 맞추기 때문에 $O(N^2)$ 루프를 생성합니다. 또한 입력값이 정제(sanitized)되었는지 확인했기 때문이 아니라, 해당 패턴이 학습 데이터에서 흔하기 때문에 shell=True 서브프로세스 호출을 생성합니다. 마지막으로 PyPI를 확인했기 때문이 아니라, 명명 패턴이 그럴듯하기 때문에 환각(hallucinated)된 패키지 이름을 생성합니다.

BrassCoders는 이러한 문제들을 결정론적(deterministically)으로 포착합니다. 즉, 실행할 때마다 동일한 규칙이 적용되며, 위반 사항에 대해 모델의 온도(temperature)나 컨텍스트 윈도우(context window)에 따른 변동 없이 동일한 종료 코드(exit code)를 반환합니다. 생성된 .brass/ai_instructions.yaml 출력물은 이후 분류(triage)를 위해 AI 어시스턴트에게 다시 전달되며, 바로 이 단계가 컨텍스트를 인지하는 판단(context-aware judgment)이 이루어져야 하는 곳입니다. 스캐너는 사실을 보고합니다. 그리고 전체 코드베이스와 비즈니스 컨텍스트에 접근할 수 있는 AI 어시스턴트가 무엇을 수정할지 결정합니다.

바이브 코딩(Vibe coding)은 괜찮습니다. 하지만 모든 푸시(push) 전에 30초의 안전망을 갖춘 바이브 코딩은 더 좋습니다.

pip install brasscoders로 BrassCoders를 설치하고, 다음에 생성될 AI 기반 디프(diff)에 대해 brasscoders --offline scan .을 실행해 보세요. 전체 벤치마크 방법론과 심어진 버그(planted-bug) 분석에 대한 자세한 내용은 AI Coder Bug Benchmark 포스트를 참조하십시오.