생성은 저렴해졌다. 확인은 저렴해지지 않았다

대규모 모델(Large-scale models)에 의해, 코드나 텍스트를 생성하는 (Generating) 비용은 극적으로 낮아졌습니다. 하지만, 생성물이 올바른지 확인하는 (Verifying) 비용은 거의 낮아지지 않았습니다.

여기에 비대칭성이 존재합니다. 생성이 10배 빨라진다고 해서, 리뷰(Review)가 10배 빨라지는 것은 아닙니다. 오히려 리뷰 대상이 10배로 늘어나기 때문에, 병목(Bottleneck)이 이동했을 뿐입니다.

검증 비용의 구조

검증 비용은 균일하지 않습니다. 작업의 종류에 따라 자릿수가 다릅니다.

즉, "AI로 생산성이 10배"라는 주장은 검증 비용이 작은 영역에서만 성립합니다.

에이전트 시대에 중요해지는 이유

자율 에이전트(Autonomous agents)는 병렬로 동작합니다. 인간 리뷰어는 병렬로 동작할 수 없습니다. 에이전트를 10개 실행하면, 10개의 풀 리퀘스트(Pull Request)가 동시에 도착합니다. 여기서 중요해지는 것은 모델의 똑똑함이 아니라, 증거를 자동으로 생성할 수 있는지 여부입니다.

저는 이를 Proof-Adjusted Autonomy (증명 조정된 자율성)라고 부릅니다.

PAA = P(A) × P(C|A) × P(R|A,C) × P(T|A,C,R)

• P(A): 사람의 손을 거치지 않고 완료된 비율
• P(C|A): 증거가 갖춰져 있는 비율
• P(R|A,C): 그 증거가 독립적으로 검증 가능한 비율
• P(T|A,C,R): 의사결정에 늦지 않는 비율

각 항목이 0.9라 하더라도, 곱하면 0.9⁴ ≒ 0.656이 됩니다. "90% 자율"을 내세우는 에이전트가 실제로는 약 66%밖에 가치를 내지 못하고 있다는 계산이 나옵니다.

엔지니어링 조직으로서 무엇을 해야 하는가

• 검증 비용을 가시화할 것 — 리뷰 대기 시간, 반려율(Rejection rate), 인시던트(Incident) 발생률을 생성량과는 별도로 측정한다.
• 증거의 자동 생성에 투자할 것 — 테스트, 트레이스(Trace), 재현 절차. 에이전트의 출력물 그 자체보다, 출력에 부수되는 증거가 더 가치가 있다.
• 검증 비용으로 작업을 분류할 것 — 검증 비용이 저렴한 영역부터 자율화하고, 비용이 높은 영역은 인간의 게이트(Gate)를 남겨둔다.
• "빨라졌다"를 의심할 것 — 생성이 빨라졌을 뿐, 시스템 전체의 처리량(Throughput)이 올라갔다고 단정할 수 없다.

요약

• 생성 비용은 붕괴했다. 검증 비용은 붕괴하지 않았다.
• 병목은 "쓰는 것"에서 "확인하는 것"으로 이동했다.
• 에이전트 시대의 실력은 자율성 그 자체가 아니라, 증명이 동반된 자율성으로 측정해야 한다.

원문(영어·상세판): https://piszczek.pl/blog/verification-cost-is-the-new-bottleneck

다른 기사: https://piszczek.pl/blog

Discussion