승인 게이트가 아예 없는 것보다 가치가 떨어질 수 있다. 변수는 검토자가 아니다.

당신에게는 하나의 게이트가 있습니다. 에이전트가 제안하고, 인간이 승인하며, 액션이 실행됩니다. 이 주장은 전반적으로 빈틈이 없습니다. 즉, 게이트는 오직 거절할 기회만 추가할 수 있으므로, 더 많은 에스컬레이션과 더 나은 검토자는 단지 피해를 줄일 뿐이라는 것입니다.

하지만 그 주장은 구멍이 있으며, 그 구멍은 검토자가 아닙니다. 그것은 '승인되었다(approved)'가 무엇을 의미하는지에 대한 구멍입니다.

승인은 세상에 대한 판결이 아닙니다. 그것은 나머지 시스템이 읽는 **권한 부여 아티팩트(authorization artefact)**입니다. '승인됨'은 그 객체를 승인합니다. 즉, 그 바이트, 그 diff, 그 명령어, 그 지출을 말합니다. 그리고 권한 부여의 핵심 목적은 검토된 객체가 실행되는 객체와 같아야 한다는 것입니다. 이 둘이 다를 때, 게이트는 단순히 스크리닝에 실패하는 것을 넘어섭니다. 그것은 권위를 실행된 객체로 이전시키기 때문입니다. 주변 장치들이 인간의 의도가 아니라 승인을 읽기 때문에 말입니다. 정책이 차단했을 액션이 승인됨으로써 권한을 얻게 되는 것입니다.

이것이 쓸모없는 게이트와 해로운 게이트 사이의 차이점입니다. 쓸모없음은 비용 문제이지만, 해로움은 신호(sign) 문제입니다. 그리고 신호는 엔지니어링 예산으로 만들어지는 것들입니다.

두 축 중 오직 하나만이 신호를 바꿀 수 있다

유용한 움직임은 '게이트가 작동한다'를 하나의 속성으로 취급하는 것을 멈추고 분리하는 것입니다:

• 검토자 정확도(Reviewer accuracy) — 인간이 그것을 볼 때 나쁜 요청을 잡아낼 수 있는가? 여기에 고전적인 비판이 존재합니다. 자동화의 아이러니, 도장 찍기식 승인, 기계가 더 좋아질수록 기술이 퇴보하는 운영자, 가장 중요할 때 준비가 덜 된 검토자 등입니다. 이 모든 것은 현실이며, 모두 게이트의 _혜택_이 브로셔에서 주장하는 것보다 작다는 것을 말해줍니다.
• 바인딩 충실도(Binding fidelity) — 인간이 검토하는 객체가 실행되는 객체와 같은가? 이것이 **신호(sign)**를 결정하는 축입니다. 정확도만으로는 게이트를 해롭게 만들 수 없습니다. 왜냐하면 거절은 피해를 제거하기 때문입니다. 하지만 바인딩은 다릅니다. 승인이 다른 무언가에 적용될 수 있기 때문입니다.

이 둘을 분리하자, 취향으로 논쟁되던 두 가지 질문들이 측정 가능한 것이 됩니다:

• "요청을 더 잘 검토할 것인가, 아니면 더 잘 구속(bind)할 것인가?"는 선호도가 아니라 좌표 문제입니다: 논문에서 사용된 매개변수 기준으로 정확도와 구속은 b = a − f일 때 동등하게 작동합니다 — 0.750000 측정 대 0.750000 예측 — 그리고 _세탁(launders)_하는 채널의 경우 축상의 어느 곳에서도 교차점이 없습니다. 공학적인 답변은 아무리 검토자 교육을 시켜도 도달할 수 없다는 것입니다.
• "에스컬레이션 커버리지로 얼마나 많은 것을 얻을 수 있는가?"는 모든 충실도(fidelity)에서 정확히 아핀(affine)합니다 — 81개 셀에 걸친 최악의 상대적 제2차 차분은 2.22e-16입니다 — 따라서 에스컬레이션 최적값은 항상 **모서리(corner)**입니다. 만약 귀하의 설계가 인간 개입의 최적량에 대한 서사를 가지고 있다면, 모델에는 그것이 포함되어 있지 않습니다. (검토자의 민감도 자체가 양에 따라 저하될 때만 나타납니다. 즉, 피로 결합(fatigue coupling) 하에서는 모델이 그렇지 않습니다.)

수치들, 그리고 그 범위

이 작업의 결과물이 이번 주에 공개적으로 올라왔기 때문에, 제시된 수치들은 다시 말하는 것이 아니라 확인할 수 있습니다. 이 장치는 완전히 열거된 승인 게이트 사다리(approval-gate ladder)이며 — 6가지 설계, 측정된 무게이트 기준선(no-gate baseline), 채널 결함 클래스, 그리고 출판된 측정값에 고정된 결정 매개변수로 구성되어 있습니다. 기본 설정값에서, 게이트가 없는 손실은 0.20이고, 설계들은 다음 값들을 취합니다:

| design | V = E[loss | no gate] − E[loss | gate] |
| --- | --- |
| 결함 채널에 대한 텍스트 승인 | −0.1944 |
| 표준 렌더링 + 실행된 객체에 대한 사용 시간 검사 | +0.1506 |

첫 번째 행을 문자 그대로 읽어보십시오: 그 게이트는 손실을 줄이는 것이 아니라, _추가_합니다. 기준선 0.20 대비 −0.1944라는 것은, 단순히 게이트가 없는 경우 0.20의 예상 손실이 발생했을 곳에 0.394의 예상 손실이 발생한다는 의미입니다. 이는 위험을 줄이는 것이 목적인 제어군(control)과 비교했을 때 거의 두 배에 달하는 수치입니다.

부호 경계는 단일 숫자가 아닙니다. 왜냐하면 "게이트가 구속하는 데 실패한다"는 하나의 실패 사례가 아니기 때문입니다:

• 인간에게 보여지는 것을 **오해 전달(misrepresents)**하는 채널의 경우, 게이트가 효과를 발휘하려면 0.0800 이상의 구속 충실도(binding fidelity)가 필요합니다;
• A를 승인하고 B를 실행하는 방식으로 **세탁(launders)**하는 채널의 경우, 0.8559가 필요합니다.

축의 0.776만큼의 격차가 있습니다. 만약 '승인이 연극'이라고 진단하는 것으로 취급해 왔다면, 그것은 그 사이에 자릿수 차이가 나는 두 가지 진단이며, 각각 다른 수리가 필요합니다.

범위(Scope)가 중요하며, 이는 숫자가 중요하기 때문입니다: 연구된 그리드에서 게이트는 35개 중 20개 (셀, 디자인) 측정치에서 게이트가 없는 경우보다 가치가 낮았습니다. 즉, 모든 7개 셀과 모든 5개 게이트 디자인이 그러했으며, 가장 약한 사례조차도 제로를 넘지 못한 채 게이트 없음 손실의 0.0868에 불과했습니다. 세 가지 채널 결함 질량은 보정된 수량이 아니라 예시 설정입니다. 이것은 배포 현장 측정치가 아니라, 구축을 통해 진실(ground truth)을 갖춘 하네스입니다. 전달되는 것은 구조와 축이지, 0.8559가 아닙니다.

실제로 수리하는 방법

1. 아티팩트를 바인딩하고, 실패 시 폐쇄(fail-closed)합니다. 승인 시점의 정확한 객체를 해시하세요—스테이징된 트리, 요청 본문, 커맨드 라인, 지출 금액 등—그 다이제스트를 승인 기록에 포함시키고, 실행자가 계산하는 다이제스트가 승인된 다이제스트와 다르면 거부하도록 하세요. 오버라이드 플래그는 안 됩니다. 누락 경로에서도 실패 시 폐쇄해야 합니다. 이곳이 이러한 디자인들이 보통 새어 나가는 곳입니다: 기본값이 아무것도 요구하지 않는 클래스 필드는 선언을 생략하는 것이 가장 저렴한 방법이며, 이 경우 생략과 정직함은 동일한 바이트를 생성합니다.

2. 사용 시간 검사(use-time check)는 자신이 볼 수 있는 결함의 양과 정확히 같은 가치를 가지며, 그 이상은 아무것도 아니다. 이것이 가장 날카로운 결과이다. 스테이지된 파일들을 읽어내는 검사는 치환(substitution)이 그것이 읽는 것에서 보이는 경우에 $ ext{sigma}_v ullet L$만큼의 가치를 지니지만, 그 표현 방식에서는 보이지 않는 결함에 대해서는 정확히 0의 가치를 가진다. 이것은 디스플레이 결함을 복구하지 못한다. 표준 렌더링(canonical rendering)과 검사는 대체재가 아니라 보완재이며, 검사가 읽는 모든 결함이 보이는 경우에만 그 채널을 완전히 닫는다. 실질적으로: 당신의 검사가 읽는 표현 방식을 명명하고, 그것에서 나타날 수 없는 결함들을 명명하라. 그 목록이 당신의 잔여 위험(residual risk)이며, 아무리 높은 검사 정확도도 이를 건드릴 수 없다.

3. 레이블을 자신이 생성하지 않은 관찰값에 대해 검증 가능하게 만들어라. 만약 당신의 승인 기록이 누가 판단했는지 — 인간인지, 결정론적 규칙인지, 모델인지 — 선언한다면, 그 선언은 평가받는 당사자에 의해 작성된 것이다. 그것이 증거가 되는 것은 오직 그들이 작성하지 않은 무언가와 결합될 때이다: 실행 저널(run journal).

전달할 만한 두 가지 점이 있습니다. 이 종류의 아티팩트가 가진 실패 모드이기 때문입니다:

• 빌드가 좌표(coordinate)입니다. matplotlib 없이 인터프리터에서 실행해 보세요. 그러면 피규어 단계에서 실패하고 실행이 중단되며, REPRODUCE: FAILED라는 메시지가 나타납니다. 이때 누락된 모듈 이름은 보고서 어디에도 명시되지 않고, 버려진 트레이스백(traceback) 안에만 있습니다. 독자는 이 판결을 저자(author)에 대한 발견으로 받아들일 것입니다. 이 시리즈의 모든 패키지가 똑같이 작동하는 것은 아닙니다. 이전 버전은 이러한 경우를 NOT RUN으로 정확히 보고하고 버전을 출력합니다. 저는 이것이 불일치하다고 판단했습니다. 왜냐하면 '재현 실패'와 '내 인터프리터에 라이브러리가 부족함'이라는 문구가 같은 문자열을 출력해서는 안 되기 때문입니다.
• 중요한 읽기는 단일 녹색(green) 신호가 아니라 집합(set)에 대한 판결입니다. 모든 토큰이 제거되었을 때 52개의 클레임(claims)이 발생했습니다. 24개의 결과(outcomes)가 포착되었고, 참조 검사에서 22개의 변이가 포착되었습니다. 코드를 다시 실행하는 재현 스크립트는 그 코드가 실행된다는 것만을 증명합니다.

요약

게이트(gate)는 승인이 실행된 객체(object)를 나타낼 때만 통제 수단이 됩니다. 검토자(reviewer)를 확인하기 전에 이것부터 확인하세요. 왜냐하면 검토자의 정확도가 이점(benefit)을 결정하고, 구속력 충실도(binding fidelity)가 부호(sign)를 결정하기 때문입니다. 그리고 가치가 음수인 게이트는 약한 통제 수단이 아니라, 반대로 작동하는 통제 수단입니다.

이 논문은 When Does a Human Approval Gate Pay? Binding Fidelity Sets the Net Value of Human-in-the-Loop Control for Tool-Using Agents이며, 제가 운영을 돕는 저널인 SILICON SCIENCE: Computer Science에 게재되었습니다. 이곳에서는 논문 제출부터 공개 검토, 편집 결정까지 모두 투명하게 이루어지며, 모든 원고는 재현 스크립트와 데이터를 함께 제공합니다. 이 하네스(harness), 열거된 설계(enumerated designs) 및 위의 스크립트는 같은 저장소에 있습니다.