AI가 당신이 검토하는 속도보다 더 빠르게 코드를 작성합니다. 이제 어떻게 해야 할까요?

지난 2년 동안 우리는 어떤 모델이 코드를 가장 잘 작성하는지에 대해 논쟁해 왔습니다. 그 논쟁은 대부분 일단락되었고, 이는 새로운 문제를 만들어냈습니다. 이제 에이전트(Agent)는 어떤 인간이 읽는 속도보다 더 빠르게 작동하는 코드를 생성합니다.

따라서 병목 현상(Bottleneck)의 위치가 이동했습니다. 이전에는 코드를 작성하는 것이 문제였다면, 이제는 신뢰하는 것이 문제입니다.

대부분의 팀은 두 가지 방식 중 하나로 대응하는데, 두 방식 모두 틀렸습니다.

• 모든 것을 동일한 방식으로 검토합니다. 모든 변경 사항이 동일한 대기열에서 동일한 전체 인간 검토를 기다립니다. 한 줄짜리 복사 수정 사항이 결제 리팩토링(Refactor) 뒤에 머물게 됩니다. 생성(Generation)을 통해 얻은 속도는 백로그(Backlog) 때문에 사라집니다.
• 거의 아무것도 검토하지 않습니다. 에이전트가 자신만만해 보이기 때문에 변경 사항들이 그냥 통과됩니다. 그러다 인증, 돈, 또는 규제 대상 데이터가 필요한 판단 없이 배포됩니다. 자신감은 정확성이 아닙니다.

아이디어: 검토의 단계별 차등화

Graduated Review Authority (GRA)는 단일한 고정 경로를 폐지합니다. 대신, 변경 사항이 받는 검토의 양은 두 가지 요소, 즉 그것이 수반하는 위험(Risk)과 그것이 정확하다는 증거의 강도에 따라 규모가 조절됩니다.

모든 자동화된 체크를 통과하는 사소한 변경 사항은 결제 계산 방식에 대한 변경 사항만큼의 정밀한 조사가 필요하지 않습니다. GRA는 이러한 차이를 명시적이고 일관되게 만듭니다.

핵심 규칙은 단 한 줄입니다:

생성(Generation)은 권한이 아닙니다. 파이프라인(Pipeline)이 권한입니다.

사람이든 에이전트든 누구나 코드를 작성할 수 있습니다. 하지만 코드를 생성했다고 해서 그것을 배포할 권한이 부여되는 것은 아닙니다. 승인은 변경 사항이 작성되기 전에 고정된 검증(Validation)을 통과했을 때만 이루어집니다. 모델은 제안할 수는 있지만, 스스로 통과 권한을 부여할 수는 없습니다.

변경 사항이 더 가벼운 검토를 받는 방법

GRA는 세 가지 종류의 증거를 가중치에 따라 검토하며, 강한 순서대로 나열하면 다음과 같습니다:

1. 결정론적 게이트 (Deterministic gates). 타입(Types), 테스트(Tests), 보안 스캔(Security scans), 정책 체크(Policy checks). 매번 동일한 답을 내놓으므로, 실패 시 즉시 차단됩니다.
2. 에이전트 검토 (Agent review). 유용하지만 확률적(Probabilistic)이며, 검토자가 작성자와 독립적일 때만 유효합니다.
3. 인간 검토 (Human review). 기계가 해결할 수 없는 영역, 즉 위험(Risk), 모호성(Ambiguity), 아키텍처(Architecture), 의도(Intent)를 위해 남겨둡니다.

게이트(Gates)가 아무리 깨끗하더라도 특정 카테고리는 항상 사람에게 전달됩니다: 인증(Auth), 자금 이동(Money movement), 규제 대상 데이터(Regulated data), 파괴적인 마이그레이션(Destructive migrations), 그리고 광범위한 아키텍처 변경(Architectural change) 등이 이에 해당합니다.

그리고 권한(Authority)은 한 번 부여되면 끝나는 것이 아니라 단계적으로 부여됩니다. 깨끗한 기록을 쌓아온 변경 유형은 더 적은 간섭을 받게 됩니다. 반면 회귀(Regressions)나 유출된 결함(Escaped defects)을 발생시키는 유형은 더 많은 감독을 받게 됩니다. 결정적으로, 시스템은 위험(Risk)이 요구하는 최저 수준(Floor) 아래로 검토를 완화할 수는 없습니다. 위험 수준을 넘어 검토를 느슨하게 만들지는 않습니다.

이것이 왜 중요한지에 대하여

"AI 네이티브 전달(AI-native delivery)"에 대한 솔직한 버전은 "에이전트가 배포하게 두라"가 아닙니다. 그것은 "실제로 결과(Outcome)를 바꾸는 곳에 인간의 주의(Human attention)를 집중하라"는 것입니다. GRA는 반사적인 대응 대신, 의도적으로 그 지점이 어디인지 결정하는 하나의 방법입니다.

전체 글은 **gra.dev**에서 확인할 수 있습니다. 가입이 필요 없는 단일 페이지입니다. 이 방식이 어디에서 한계가 있다고 생각하시는지 진심으로 듣고 싶습니다.