본고는 영어 원문 https://piszczek.pl/proof-adjusted-autonomy 를 저자가 직접 일본어용으로 재구성한 것입니다.

자율성이란 에이전트가 '무엇을 했는가'가 아니라, '무엇을 증명할 수 있는가'입니다.

저는 이 지표를 Proof-Adjusted Autonomy (PAA) 라고 부릅니다. 조직이 완료한 업무 중, AI가 인간의 개입 없이 실행하였으며, 동시에 독립적이고 신뢰할 수 있으며 적시적인 증거 (independent, reliable, timely evidence) 를 동반한 비율입니다.

PAA = P(A) × P(C|A) × P(R|A,C) × P(T|A,C,R)

네 가지 조건부 게이트 (conditional gates)의 곱입니다. 독립성을 가정하지 않으며, 중복 계산하지도 않습니다.

데모에서 '자율도 90%'라고 주장하는 에이전트가 증거 커버리지 (evidence coverage) 0.80, 독립 검증 통과율 0.95, 기한 내 완료율 0.90 인 경우:

0.90 × 0.80 × 0.95 × 0.90 = 0.616

마케팅에서는 첫 번째 인자만을 보고하지만, 운영 팀이 짊어지는 것은 네 가지의 곱입니다.

검증되지 않은 나머지는 사라지지 않습니다. 재고로서 축적됩니다:

ProofDebt(t+1) = max(0, ProofDebt(t) + 생성량 − 검증済み량 − 거절량)

이는 인시던트(incident), 감사(audit), 고객의 클레임이 문의해 오기 전까지는 손익계산서(P/L)에 나타나지 않는 이연 부채입니다.

법칙: 지속 가능한 자율성은 검증 능력을 초과할 수 없다. 안전한 처리량 (throughput)은 min(생성 속도, 검증 속도)입니다.

로그를 통해 측정한다. 일정 기간의 완료된 태스크에 대해, 네 가지 비율을 순서대로 구하여 곱하기만 하면 됩니다.

검증 용량을 캐파시티 플래닝 (capacity planning)에 포함한다. 생성 측만 늘린다고 해서 PAA가 올라가지는 않습니다.

결정적 테스트 (deterministic test)가 가장 저렴한 R이다. LLM에 의한 LLM 채점은, 다른 계열의 모델이 아니라면 독립성을 충족하지 못합니다.

배포 후의 검증은 T 게이트를 떨어뜨린다. 그것은 보호책이 아니라 사후 분석입니다.

동의하지 않는다면, 당신의 정의를 공개해 주십시오. 이 지표는 논의되기 위해 존재합니다.

• 공식 정의 및 FAQ (영어): https://piszczek.pl/proof-adjusted-autonomy
• 사양·참조 구현·화이트페이퍼 (whitepaper): https://github.com/pich/proof-adjusted-autonomy

저자: Michał Piszczek (Archdesk CTO). 오리지널은 https://piszczek.pl 에서 공개 중.