에이전트 증거 수준 (AEL): AI 에이전트가 남기는 증거의 등급 매기기
요약
AI 에이전트의 작업 기록을 외부 당사자가 검증할 수 있는 정도를 평가하는 오픈 표준인 '에이전트 증거 수준(AEL)'을 소개합니다. AEL-0부터 AEL-4까지의 등급 체계를 통해 벤더를 신뢰하지 않고도 작업의 누락이나 조작을 탐지할 수 있는 기술적 기준을 제시합니다.
핵심 포인트
- AEL은 벤더 신뢰 없이 외부 검증 가능성을 평가하는 표준임
- AEL-0부터 AEL-4까지 단계별 증거 수준 정의
- 로그의 무결성, 간극 탐지, 교차 도메인 검증, 외부 앵커링 포함
- AEL-4는 수신 측의 확인을 통해 거래 상대방 확인 단계까지 도달
- 재현성(R) 접미사를 통해 입력값으로부터 결정 재도출 가능성 표시
저는 에이전트 방화벽 (agent firewall)을 구축하고 있는데, 제가 계속 마주하는 질문은 "공격을 차단했는가"가 아닙니다. 그것은 "내 말을 그대로 믿지 않고도, 다른 누군가가 내 에이전트가 무엇을 했는지 어떻게 알 수 있을까"입니다. 대부분의 도구들은 "우리는 변조 불가능한 로그 (tamper-proof logs)를 유지한다"라고 답하고 끝납니다. 이 문구는 가장 강력한 속성을 주장하지만, 여전히 서명 키 (signing key)를 보유한 사람을 신뢰해야 한다는 전제가 필요합니다. 그래서 저는 그 격차를 평가할 수 있는 방법을 오픈 표준 (open standard)으로서 작성하였고, 아무도 저를 믿을 필요가 없도록 체커 (checker)와 함께 출시했습니다.
AEL이 평가하는 것
에이전트 증거 수준 (Agent Evidence Levels, AEL)은 단 하나의 질문을 통해 AI 에이전트가 수행한 작업 기록을 평가합니다: 벤더 (vendor)나 운영자 (operator)를 신뢰하지 않고, 외부 당사자가 그 작업의 얼마만큼을 검증할 수 있으며, 얼마만큼의 누락 (omission)을 탐지할 수 있는가? 이는 AEL-0부터 AEL-4까지 운영되며, 실행 가능한 참조 체커 (reference checker)와 적합성 코퍼스 (conformance corpus)를 함께 제공하므로, 등급은 주장하는 것이 아니라 증명하는 것입니다.
등급 (The levels)
- AEL-0, 인증 및 순서 보장 (authentic and ordered). 기록은 서명되고 해시 연결 (hash-linked)됩니다. 수정 및 내부 삭제는 탐지 가능합니다. 하지만 하나의 키 보유자가 모든 것을 생성하기 때문에, 끝부분 절단 (tail truncation)이나 노골적인 조작 (outright fabrication)은 탐지할 수 없습니다.
- AEL-1, 간극 및 절단 증명 (gap and truncation evident). 서명된 오픈 (signed open), 침묵 자체가 서명되도록 하는 하트비트 (heartbeats), 그리고 개수를 확정하는 서명된 종료 (signed close)를 포함합니다. 이제 실행 중의 누락된 끝부분이나 침묵의 간극이 드러납니다.
- AEL-2, 교차 도메인 누락 증명 (cross-domain omission evident). 다른 검증된 서명 키를 사용하는 두 번째 기록기 (recorder)를 둡니다. 선언된 대상 이벤트 클래스 (event classes)에 대해, 한쪽에서 누락된 내용이 다른 쪽에서 기록되면 탐지 가능해집니다.
- AEL-3, 외부 앵커링 (externally anchored). 체인 헤드 (Chain heads)가 다른 검증된 로그 키를 사용하는 선언된 외부 추가 전용 로그 (append-only log)에 등록됩니다. 따라서 앵커링된 이력은 탐지 없이 상충하는 버전으로 제시될 수 없습니다.
- AEL-4, 거래 상대방 확인 (counterparty-confirmed). 선언된 확인된 흐름 (confirmed flows)에 대해, 목적지 측에서 "아무것도 받지 않음"을 포함하여 자신이 받은 것을 증명 (attests)합니다. AEL은 수신 여부를 확인하는 것이지, 무해함이나 의미를 확인하는 것이 아닙니다.
등급(grade)은 AEL-0부터 누적된 필수 차원(dimensions)들 중 최솟값입니다. 기록된 결정이 기록된 입력값으로부터 재도출될 수 있는 경우를 위해 재현성 접미사(reproducibility suffix)인 R이 붙습니다.
어떤 수준도 주장하지 않는 것
어떤 수준도 서명 키(signing keys)를 보유한 당사자에 대한 완전성(completeness)을 증명하지는 않습니다. 키 보유자는 깨끗한 이력을 구성하고, 그 모든 부분에 서명하며, 모든 내부 검사를 통과할 수 있습니다. 누락 증거(Omission-evidence)는 추가적인 서명된 증거를 통해서만, 한 번에 하나의 검증된 키 보유자를 대상으로 확보할 수 있으며, 조직적 독립성(organizational independence)은 AEL 외부에서 확립되지 않는 한 선언된 상태로 유지됩니다. 각 수준은 자신이 다루지 않는 한계를 명확하게 명시합니다. 그러한 정직함이 이 척도의 핵심입니다.
공급업체(vendor)에게 던져야 할 두 가지 질문
- 당신이 나에게 전달한 아티팩트(artifact)에 대해 참조 검사기(reference checker)를 실행했을 때, 당신의 증거는 어떤 AEL을 획득합니까?
- 만약 기록이 조용히 누락된다면, 당신의 신뢰 도메인(trust domain) 외부의 누가, 어떻게 이를 감지할 수 있습니까?
허점을 찾아주세요
명세서(spec), 참조 검사기(reference checker), 그리고 적합성 코퍼스(conformance corpus)는 공개되어 있으며 오픈 소스입니다. 이 프로젝트는 제 회사 명의로 작성되었으며, 이 용어들이 독자적인 생명력을 갖게 되면 중립적인 기관에 기부될 예정입니다. 나중에 방어하기보다는 지금 허점을 찾는 것이 낫기에, 만약 어떤 수준이 검사기가 증명하는 것보다 더 많은 것을 주장한다면, 이슈(issue)를 생성하여 저에게 보여주십시오.
github.com/luckyPipewrench/agent-evidence-levels
당신 자신의 에이전트 증거나 공급업체의 증거에 검사기를 실행하여, 직접 등급을 확인해 보십시오.
AI 자동 생성 콘텐츠
본 콘텐츠는 Dev.to AI tag의 원문을 AI가 자동으로 요약·번역·분석한 것입니다. 원 저작권은 원저작자에게 있으며, 정확한 내용은 반드시 원문을 확인해 주세요.
원문 바로가기