자율 에이전트(Autonomous Agents)가 거버넌스 모델을 변화시키다

기업의 AI 거버넌스는 초기에 모델, 데이터셋, 그리고 인간이 승인한 애플리케이션을 중심으로 설계되었습니다. 하지만 2026년에는 그러한 접근 방식만으로는 더 이상 충분하지 않습니다. 자율 에이전트(Autonomous agents)는 작업을 계획하고, 도구(tools)를 호출하며, 민감한 정보를 검색하고, 코드를 생성하며, 다른 에이전트와 통신할 수 있습니다. 이들의 행동은 컨텍스트(context), 메모리(memory), 권한(permissions), 그리고 외부 입력(external inputs)에 따라 동적으로 변화합니다.

이는 새로운 거버넌스 단위, 즉 개별 에이전트(individual agent)를 탄생시킵니다.

동일한 기반 모델(underlying model)을 사용하는 두 에이전트라도 완전히 다른 리스크 프로필(risk profiles)을 가질 수 있습니다. 하나는 내부 문서를 요약할 수 있는 반면, 다른 하나는 운영 인프라(production infrastructure)를 수정할 수도 있습니다. 모델 수준의 평가(Model-level evaluations)로는 정체성(identity), 권한 부여(authorization), 도구 접근(tool access), 운영 이력(operational history), 또는 실시간 행동(real-time behavior)의 차이를 포착할 수 없습니다.

에이전트 수준의 신뢰 점수(Agent-level trust scoring)는 각 자율 시스템에 지속적으로 업데이트되는 리스크 및 신뢰성 프로필을 할당함으로써 이러한 격차를 해결합니다. 기업은 배포 승인을 일회성 관문(one-time gate)으로 취급하는 대신, 에이전트가 수명 주기(lifecycle)의 모든 단계에서 신뢰할 수 있는 상태를 유지하는지 평가할 수 있습니다.

에이전트 수준의 신뢰 점수가 측정해야 할 사항

유용한 신뢰 점수는 모호한 평판 수치가 아닙니다. 이는 다음과 같은 여러 차원을 포함하여 구축된 증거 기반의 평가(evidence-based assessment)입니다:

• 정체성 보증(Identity assurance) 및 소유권
• 모델 및 프롬프트 출처(Model and prompt provenance)
• 정책 준수 이력(Policy compliance history)
• 도구 호출 리스크(Tool-call risk) 및 권한 범위(permission scope)
• 세션 전반에 걸친 행동 안정성(Behavioral stability)
• 데이터 처리 및 개인정보 보호 제어(Data handling and privacy controls)
• 인간의 감독(Human oversight) 및 에스컬레이션 준비성(escalation readiness)
• 보안 사고(Security incidents) 또는 비정상적 행동(anomalous actions)

점수는 컨텍스트(contextual)를 반영해야 합니다. 공개 지식 베이스에 접근하도록 승인된 에이전트가 의료 기록을 처리하거나 관리 명령을 실행하도록 신뢰받을 수는 없습니다. 따라서 기업에는 종합 점수(composite score)와 더불어 그 근거가 되는 증거에 대한 접근 권한이 모두 필요합니다.

오픈 소스 TrustGraph 프로젝트는 이러한 관계를 그래프로 표현하기 위한 기반을 제공합니다. 그래프 기반 거버넌스(Graph-based governance)는 에이전트 시스템(agentic systems)에 매우 적합한데, 그 이유는 신뢰가 연결 관계에 의존하기 때문입니다. 즉, 에이전트가 어떤 모델을 사용하는지, 누가 이를 배포했는지, 어떤 데이터에 접근했는지, 어떤 도구(tools)를 호출했는지, 그리고 각 동작을 어떤 정책(policies)이 규제했는지가 중요합니다.

신뢰 신호를 런타임 제어(Runtime Controls)로 전환하기

신뢰 점수(Trust scoring)는 그것이 강제 가능한 제어(enforceable controls)를 유도할 때 가치를 발휘합니다. 거버넌스 계층(governance layer)은 민감한 동작을 수행하기 전 에이전트를 평가하고, 그 점수를 정책 임계값(policy thresholds)과 비교할 수 있습니다. 신뢰도가 높은 에이전트는 자동으로 진행할 수 있는 반면, 중간 위험도의 동작은 추가적인 검증이 필요합니다. 신뢰도가 낮은 에이전트는 격리되거나, 제한되거나, 또는 사람의 검토(human review)로 라우팅될 수 있습니다.

실질적인 아키텍처에는 이벤트 수집 계층(event collection layer), 신뢰 그래프(trust graph), 정책 엔진(policy engine), 그리고 감사 인터페이스(audit interface)가 포함됩니다. 에이전트의 동작은 신원(identity), 타임스탬프(timestamp), 요청된 리소스(requested resource), 정책 결정(policy decision), 그리고 결과(outcome)를 포함하는 구조화된 텔레메트리(structured telemetry)를 생성해야 합니다. 암호화 서명(Cryptographic signatures)과 변조 방지 로그(tamper-evident logs)는 출처(provenance)를 강화할 수 있습니다.

또한 증거가 오래되면 점수도 감쇠(decay)하거나 변경되어야 합니다. 몇 달 전 평가를 통과한 에이전트가 모델, 도구, 또는 시스템 프롬프트(system prompt)가 변경된 후에도 무제한의 신뢰를 유지해서는 안 됩니다. 지속적인 재계산(Continuous recalculation)은 거버넌스를 형식적인 절차가 아닌 반응형(responsive)으로 만듭니다.

이러한 접근 방식은 오픈 신뢰 인프라에 관한 HONEYPOTZ INC의 연구를 지원하며, 신원, 동의, 그리고 데이터 경계에 명시적인 거버넌스가 필요한 deepbody.me와 같은 개인정보 민감형 AI 애플리케이션을 보완합니다.

신뢰는 대시보드 지표가 아니라 인프라입니다

기업용 AI 프로그램에는 정책 문서와 주기적인 모델 감사(model audits) 이상의 것이 필요합니다. 환경, 워크플로우, 그리고 조직의 경계를 넘어 각 에이전트를 따라다니는 기계 판독 가능한(machine-readable) 신뢰가 필요합니다.

에이전트 수준의 점수 산정(Agent-level scoring)은 보안, 컴플라이언스 (compliance), 엔지니어링, 그리고 리스크 팀을 위한 공통된 제어 평면 (control plane)을 제공합니다. 이것이 불확실성을 완전히 제거하지는 못하지만, 자율성 (autonomy)을 측정 가능하고, 설명 가능하며, 거버넌스 (governable)가 가능한 상태로 만들어 줍니다. 2026년에 이러한 역량은 기업 규모 (enterprise scale)에서 에이전트를 안전하게 배포하기 위한 필수적인 인프라가 되고 있습니다.

TrustGraph를 탐색하고 에이전트 수준의 신뢰 거버넌스를 위한 개방형 기반을 구축하는 데 동참하세요.

📱 연결 유지하기 — SMS 알림

독점 혜택, Private EDGE OS에 대한 우선 접근 권한, 그리고 AI 지속 가능성 (longevity)에 대한 통찰력을 휴대폰으로 직접 받아보고 싶으신가요?

EDGE10을 문자로 보내 $10 할인 받기 →