저는 에이전트 방화벽 (agent firewall)을 구축하고 있는데, 제가 계속 마주하는 질문은 "공격을 차단했는가"가 아닙니다. 그것은 "내 말을 그대로 믿지 않고도, 다른 누군가가 내 에이전트가 무엇을 했는지 어떻게 알 수 있을까"입니다. 대부분의 도구들은 "우리는 변조 불가능한 로그 (tamper-proof logs)를 유지한다"라고 답하고 끝납니다. 이 문구는 가장 강력한 속성을 주장하지만, 여전히 서명 키 (signing key)를 보유한 사람을 신뢰해야 한다는 전제가 필요합니다. 그래서 저는 그 격차를 평가할 수 있는 방법을 오픈 표준 (open standard)으로서 작성하였고, 아무도 저를 믿을 필요가 없도록 체커 (checker)와 함께 출시했습니다.

AEL이 평가하는 것

에이전트 증거 수준 (Agent Evidence Levels, AEL)은 단 하나의 질문을 통해 AI 에이전트가 수행한 작업 기록을 평가합니다: 벤더 (vendor)나 운영자 (operator)를 신뢰하지 않고, 외부 당사자가 그 작업의 얼마만큼을 검증할 수 있으며, 얼마만큼의 누락 (omission)을 탐지할 수 있는가? 이는 AEL-0부터 AEL-4까지 운영되며, 실행 가능한 참조 체커 (reference checker)와 적합성 코퍼스 (conformance corpus)를 함께 제공하므로, 등급은 주장하는 것이 아니라 증명하는 것입니다.

등급 (The levels)

• AEL-0, 인증 및 순서 보장 (authentic and ordered). 기록은 서명되고 해시 연결 (hash-linked)됩니다. 수정 및 내부 삭제는 탐지 가능합니다. 하지만 하나의 키 보유자가 모든 것을 생성하기 때문에, 끝부분 절단 (tail truncation)이나 노골적인 조작 (outright fabrication)은 탐지할 수 없습니다.
• AEL-1, 간극 및 절단 증명 (gap and truncation evident). 서명된 오픈 (signed open), 침묵 자체가 서명되도록 하는 하트비트 (heartbeats), 그리고 개수를 확정하는 서명된 종료 (signed close)를 포함합니다. 이제 실행 중의 누락된 끝부분이나 침묵의 간극이 드러납니다.
• AEL-2, 교차 도메인 누락 증명 (cross-domain omission evident). 다른 검증된 서명 키를 사용하는 두 번째 기록기 (recorder)를 둡니다. 선언된 대상 이벤트 클래스 (event classes)에 대해, 한쪽에서 누락된 내용이 다른 쪽에서 기록되면 탐지 가능해집니다.
• AEL-3, 외부 앵커링 (externally anchored). 체인 헤드 (Chain heads)가 다른 검증된 로그 키를 사용하는 선언된 외부 추가 전용 로그 (append-only log)에 등록됩니다. 따라서 앵커링된 이력은 탐지 없이 상충하는 버전으로 제시될 수 없습니다.
• AEL-4, 거래 상대방 확인 (counterparty-confirmed). 선언된 확인된 흐름 (confirmed flows)에 대해, 목적지 측에서 "아무것도 받지 않음"을 포함하여 자신이 받은 것을 증명 (attests)합니다. AEL은 수신 여부를 확인하는 것이지, 무해함이나 의미를 확인하는 것이 아닙니다.

등급(grade)은 AEL-0부터 누적된 필수 차원(dimensions)들 중 최솟값입니다. 기록된 결정이 기록된 입력값으로부터 재도출될 수 있는 경우를 위해 재현성 접미사(reproducibility suffix)인 R이 붙습니다.

어떤 수준도 주장하지 않는 것

어떤 수준도 서명 키(signing keys)를 보유한 당사자에 대한 완전성(completeness)을 증명하지는 않습니다. 키 보유자는 깨끗한 이력을 구성하고, 그 모든 부분에 서명하며, 모든 내부 검사를 통과할 수 있습니다. 누락 증거(Omission-evidence)는 추가적인 서명된 증거를 통해서만, 한 번에 하나의 검증된 키 보유자를 대상으로 확보할 수 있으며, 조직적 독립성(organizational independence)은 AEL 외부에서 확립되지 않는 한 선언된 상태로 유지됩니다. 각 수준은 자신이 다루지 않는 한계를 명확하게 명시합니다. 그러한 정직함이 이 척도의 핵심입니다.

공급업체(vendor)에게 던져야 할 두 가지 질문

1. 당신이 나에게 전달한 아티팩트(artifact)에 대해 참조 검사기(reference checker)를 실행했을 때, 당신의 증거는 어떤 AEL을 획득합니까?
2. 만약 기록이 조용히 누락된다면, 당신의 신뢰 도메인(trust domain) 외부의 누가, 어떻게 이를 감지할 수 있습니까?

허점을 찾아주세요

명세서(spec), 참조 검사기(reference checker), 그리고 적합성 코퍼스(conformance corpus)는 공개되어 있으며 오픈 소스입니다. 이 프로젝트는 제 회사 명의로 작성되었으며, 이 용어들이 독자적인 생명력을 갖게 되면 중립적인 기관에 기부될 예정입니다. 나중에 방어하기보다는 지금 허점을 찾는 것이 낫기에, 만약 어떤 수준이 검사기가 증명하는 것보다 더 많은 것을 주장한다면, 이슈(issue)를 생성하여 저에게 보여주십시오.

github.com/luckyPipewrench/agent-evidence-levels

당신 자신의 에이전트 증거나 공급업체의 증거에 검사기를 실행하여, 직접 등급을 확인해 보십시오.