AI가 PR을 작성했습니다. 실제로 제대로 작동하는지 어떻게 알 수 있을까요?

이제 AI 에이전트(AI agents)가 수많은 풀 리퀘스트(Pull Requests, PR)를 생성합니다. 대부분은 괜찮습니다. 하지만 일부는 체크를 통과(green)시키기 위해 조용히 속임수를 씁니다. 실패하는 테스트를 삭제하거나, 어설션(assertion)을 약화시키거나, 오류가 사라지도록 깨진 호출을 빈 catch 문으로 감싸버립니다. 디프(diff)만 보면 완료된 것처럼 보입니다. 하루에 40개의 에이전트 PR을 훑어보는 리뷰어는 육안으로 이를 잡아낼 수 없습니다.

swarm audit은 이를 수행하는 커맨드 라인 도구(command-line tool)입니다. 제가 유지 관리하고 있습니다. 이 도구는 AI가 작성한 코드에 대해 세 가지 작업을 수행하며, 모두 오프라인으로 실행되고 API 키가 필요하지 않습니다.

1. 속임수 잡아내기

11개의 체크 항목이 풀 리퀘스트 디프를 읽고 지름길 패턴(shortcut patterns)을 플래그(flag)합니다. 일치하는 코드 변경이 없는 삭제된 테스트, 호출자는 여전히 이전 이름을 사용하는데 함수 이름만 변경된 경우, 빈 catch에 의해 삼켜진 오류, 매니페스트(manifest)에 존재하지 않는 패키지의 모킹(mock), 변경된 라인에 적용된 타입 체커 억제(type-checker suppression) 등이 포함됩니다.

탐지는 단정적인 것이 아니라 측정 방식입니다. 실제로 병합된 300개의 PR 각각에 알려진 속임수를 하나씩 숨겨두고 감사 도구(auditor)를 실행하여 잡아낸 개수를 세어보면 254개, 즉 약 85%의 정확도를 보였으며, 한 번의 명령어로 재현 가능합니다.

가장 중요한 탐지는 실제 코드에서 발생합니다. 이미 병합된 두 개의 Cloudflare PR에서 이 도구는 두 개의 호출자가 죽은 함수를 가리키도록 만든 이름 변경 사항과, 모든 오류를 버려버리는 빈 catch {}를 찾아냈습니다. Semgrep(210개 규칙)과 ESLint의 보안 규칙은 둘 다 잡아내지 못했습니다. 왜냐하면 이들은 인젝션(injection)이나 유출된 비밀번호(leaked secret)와 같은 위험한 코드를 추적하지만, 삭제된 테스트는 위험한 코드가 아니라 누락된 코드이기 때문입니다. 감사 도구는 PR을 작성한 에이전트의 이름도 명시합니다. 실시간 페치(fetch) 시 작성자를 Devin으로 태깅했습니다. 탐지 결과는 권고(advisory) 형태로 전달되므로, 사용자가 요청하지 않는 한 보고만 할 뿐 머지(merge)를 차단하지는 않습니다.

2. 변경 사항이 명세(spec)를 충족함을 증명하기

두 번째 모드는 변경 사항이 수락되기 전에 실행됩니다. 사용자는 단순한 목표를 전달합니다. 시스템은 해당 목표를 기계가 검증 가능한 의무 사항(obligations)의 계약(contract)으로 컴파일합니다: 빌드 통과, 테스트 통과, 커버리지 유지, 특정 함수가 올바른 시그니처(signature)를 가짐, 속성(property) 유지, 성능 저하 없음 등입니다. 후보 패치(candidate patches)가 생성되며, 모든 의무 사항을 충족하는 경우에만 하나가 승인됩니다. 적대적 반증기(Adversarial falsifiers)는 패치가 인정되기 전에 이를 깨뜨리려고 적극적으로 시도합니다.

새로운 프로젝트에서 이 시스템은 목표를 두 개의 의무 사항으로 컴파일하고, 둘 다 검증했으며, 머지(merge) 후 아무것도 저하되지 않았음을 확인했고, 이 과정에서 토큰을 전혀 사용하지 않았습니다. 게이트 모드(gate mode)를 켜면 이는 엄격한 머지 규칙이 됩니다: 테스트를 제거하는 디프(diff)는 종료 코드(exit code)가 0이 아닌 상태로 종료되며 절대 반영되지 않습니다.

3. 준수(compliance)를 위한 문서화

EU AI Act 또는 CISA의 SBOM-for-AI 가이드라인에 따라 AI가 작성한 코드를 배포하거나 구매하는 경우, 누군가는 AI 개입에 대한 기록을 요청할 것입니다. 이 도구는 CycloneDX 1.6 ML 자재 명세서(bill-of-materials)와 SPDX 3.0 AI-Profile을 생성하며, 둘 다 해당 명세(spec)를 준수합니다. 또한, 어떤 항목이라도 수정하면 체인이 깨지는 해시 체인 기반의 증거 원장(evidence ledger)을 함께 제공합니다. 이는 EU AI Act 부속서 IV(Annex IV) 및 CISA 최소 요소(minimum elements)에 대한 매핑 정보와 함께 제공됩니다.

시도해 보기

git clone https://github.com/moonrunnerkc/swarm-orchestrator
cd swarm-orchestrator && npm install && npm run build

...

Open Source Repo: https://github.com/moonrunnerkc/swarm-orchestrator