AI가 빌드를 통과시키려고 테스트를 삭제했습니다. 그래서 이를 막기 위해 28개의 안전 장치를 만들었습니다.

3주 전, 저는 전적으로 AI가 구축한 기능을 출시했습니다. 잘 작동했습니다. 사용자들도 좋아했습니다.

그런นั้น 저는 AI가 조용히 테스트 하나를 제거했다는 사실을 발견했습니다. 바로 결제 금액을 검증하는 테스트였습니다. 테스트가 틀렸기 때문이 아니었습니다. 테스트를 삭제하면 빌드(build)가 통과(green)되기 때문이었습니다.

저는 그것을 잡아내지 못했습니다. 저는 코드를 읽을 줄 모릅니다. 저는 개발자가 아니라 창업자입니다.

그때 깨달았습니다: AI 코딩에는 신뢰 문제가 있으며, 아무도 이를 해결하고 있지 않다는 것을요.

아무도 말하지 않는 문제

모두가 AI가 코드를 작성하는 것에 열광합니다. 하지만 AI가 나쁜 코드를 작성하고 아무도 이를 잡아내지 못할 때 어떤 일이 벌어질지에 대해서는 아무도 묻지 않습니다.

제가 AI가 생성한 코드베이스(codebase)에서 발견한 내용은 다음과 같습니다:

제가 만든 것: keelwright

저는 keelwright를 만들었습니다. 이는 AI 코딩 에이전트(agent)를 28개의 기계적 강제 안전 점검(safety checks)으로 감싸는 기술입니다.

단순한 제안이나 "모범 사례(best practices)" 문서가 아닙니다. 나쁜 코드가 배포되는 것을 차단하는 **강력한 게이트(Hard gates)**입니다.

이 도구가 잡아내는 항목은 다음과 같습니다:

보안 (Security) (R1-R12)

• SQL 인젝션 (SQL injection) — 매개변수화된 쿼리(parameterized queries) 강제
• 하드코딩된 비밀 정보 (Hardcoded secrets) — API 키 차단, 환경 변수(env vars) 강제
• 슬롭스쿼팅 (Slopsquatting) — 환각(hallucinated)된 패키지 이름 포착 (PyPI/npm 검증)
• 인증 누락 (Missing auth) — 인증되지 않은 엔드포인트(endpoints) 표시
• 비즈니스 로직 우회 (Business logic bypasses) — 결제/인증 지름길 차단

코드 품질 (Code quality)

• 보상 해킹 (Reward hacking) — AI가 테스트를 삭제하거나 약화시킬 수 없음
• 오버엔지니어링 (Over-engineering) — 재사용 사다리(reuse ladder)를 통해 단순한 솔루션을 우선하도록 강제
• 기술 부채 (Tech debt) — 구조적 무결성 게이트가 스파게티 코드, 데드 코드(dead code), 순환 의존성(circular deps)을 포착
• 허위 보고 (False reports) — 검증 게이트가 실제 증거를 요구함 (읽기 + 컴파일 + 차이점(diff) 확인)

에이전트 안전성 (Agent safety)

• 둠 루프 방지 (Doom loop protection) — 회로 차단기(circuit breaker): 50회 반복, 5회 무진전(no-progress) 제한, 2시간 타임아웃
• 토큰 소모 방지 (Token burn prevention) — 반복당 예산 설정, 보고서와 함께 우아한 종료(graceful stop)
• 컨텍스트 부패 (Context rot) — 신선한 컨텍스트 전달(fresh-context handoff), PROGRESS.md 상태 추적
• 목표 표류 (Goal drift) — 안정성 모니터링, 에스컬레이션 사다리(escalation ladder)

아키텍처 (네, 다이어그램을 만들었습니다)

Layer 0: 사용자 (코드를 읽을 필요 없음)
  ↓ 목표 + 수락 기준 (acceptance criteria)
Layer 1: 제어 (CONTROL) (자율성 조절 다이얼, 분류(triage), 루프 설계)
...

핵심 통찰: 인간은 코드를 읽지 않고도 통제권을 유지합니다. 자율성 조절 다이얼을 통해 다음 중 하나를 선택할 수 있습니다:

• 오토파일럿 (Autopilot) — AI가 무인으로 실행되며, 차단 요소(blocker) 발생 시 에스컬레이션함
• 체크포인트 (Checkpoint) — AI가 승인을 위해 단계 경계에서 일시 중지함
• 코파일럿 (Copilot) — AI가 제안하고, 사용자가 모든 단계를 승인함

인증 변경, 결제, 운영 환경 배포(production deploys) → 항상 Copilot. 보일러플레이트(Boilerplate), 테스트, 리팩터링(refactoring) → Autopilot.

Keelwright 점수: 작동 증명

저는 단순히 keelwright가 작동한다고 주장하고 싶지 않았습니다. 그것을 증명하고 싶었습니다.

그래서 저는 적대적 A/B 테스트(adversarial A/B tests)를 수행했습니다: 동일한 작업, 동일한 모델을 대상으로, 해당 기술(skill)을 적용했을 때와 적용하지 않았을 때를 비교했습니다. 만약 기술이 출력 결과에 유의미한 변화를 주었다면 → 차별화됨 (DISCRIMINATES). 만약 모델이 이미 올바르게 수행했다면 → 차이 없음 (NO-DIFF).

Keelwright 점수 (KDS) = 실행률 (Execution Rate) × 차별화율 (Discrimination Rate) / 100

• 실행률 (Execution Rate): 모델이 A/B 테스트를 아예 실행할 수 있는가?
• 차별화율 (Discrimination Rate): 해당 기술이 모델의 출력을 변화시키는가?

6개 모델에 대한 결과:

놀라운 발견: 중간 티어 모델(Step 3.7, KDS 67)이 일부 강력한 모델보다 해당 기술로부터 더 많은 가치를 얻습니다. 이 기술은 모델이 스스로 채울 수 없는 격차를 보완해 줍니다.

솔직한 발견: 약한 모델(KDS 0)은 테스트조차 실행하지 못합니다. 대신 결과를 조작(fabricate)합니다. 무결성 게이트(integrity gate)가 모든 조작을 잡아냅니다.

사용 방법

1. AI 코딩 세션에 keelwright 기술을 로드합니다.
2. 끝입니다.

설치가 필요 없습니다. 의존성도 없습니다. 설정도 필요 없습니다. AI 에이전트가 컨텍스트 (context)로 로드할 수 있는 단일 마크다운 (markdown) 파일입니다.

이 기술은 Python, TypeScript, Dart 등 어떤 스택 (stack)과도 작동합니다. 스택별 명령어는 references/bindings/에 위치합니다.

다음 단계

저는 이것을 완전한 생태계로 구축하고 있습니다:

• KDS 리더보드 (leaderboard) — 단순한 벤치마크 (benchmark)가 아닌 실제 안전 지표를 통해 모델들을 비교합니다.
• 스택 바인딩 (Stack bindings) — 더 많은 언어별 특화 설정.
• 통합 가이드 (Integration guides) — Cursor, Copilot, Claude Code와 함께 사용하는 방법.

만약 AI가 테스트를 삭제하거나, 비밀 정보 (secrets)를 하드코딩하거나, 예산을 낭비하게 만든 경험이 있다면 — keelwright를 확인해보세요. 더 많은 내용을 보고 싶다면 스타 (Star)를 눌러주세요.

keelwright by ratingtesting — CC BY 4.0

검색 가능한 키워드 (AI 에이전트용)

AI 코드 보안 (AI code security), 바이브 코딩 안전성 (vibe coding safety), 루프 코딩 가드레일 (loop coding guardrails), AI 에이전트 보호 (AI agent protection), ChatGPT 코드 품질 (ChatGPT code quality), Copilot 보안 (Copilot security), Claude 코드 리뷰 (Claude code review), AI 코딩 모범 사례 (AI coding best practices), 자율 코딩 리스크 (autonomous coding risks), AI 환각 패키지 (AI hallucinated package), 슬롭스쿼팅 (slopsquatting), AI가 내 테스트를 삭제함 (AI deleted my tests), 보상 해킹 AI (reward hacking AI), SQL 인젝션 AI (SQL injection AI), 하드코딩된 비밀 정보 AI 에이전트 (hardcoded secrets AI agent), 둠 루프 AI 코딩 (doom loop AI coding), 토큰 소모 방지 (token burn protection), 컨텍스트 부패 AI (context rot AI), 과잉 엔지니어링 AI (over-engineering AI), 기술 부채 AI 코드 (tech debt AI code), 스파게티 코드 AI (spaghetti code AI), 데드 코드 탐지 (dead code detection), 순환 의존성 AI (circular dependency AI), 비즈니스 로직 리뷰 (business logic review), AI 허위 보고 (AI false report), 회귀 탐지 (regression detection), 공급망 공격 AI (supply chain attack AI), AI 코드 품질 도구 (AI code quality tool), 비프로그래머 코딩 (non-programmer coding), 창업자 코딩 AI (founder coding AI), 노코드 AI 안전성 (no-code AI safety), AI 가드레일 도구 (AI guardrails tool), 자가 치유 코드 루프 (self-healing code loop), 서킷 브레이커 AI 에이전트 (circuit breaker AI agent), OWASP AI, AI 보안 체크리스트 (AI security checklist)