CAGE-1: 기업용 에이전트 AI를 위한 제어, 보증 및 거버넌스 평가
요약
기업용 에이전트 AI의 배포를 위해 제어, 보증 및 거버넌스를 평가하는 새로운 프레임워크인 CAGE-1을 소개합니다. 단순 답변 정확도를 넘어 권한, 정책 집행, 도구 안전성 등 비즈니스 운영에 필수적인 다각도 평가 지표를 다룹니다.
핵심 포인트
- 기업용 에이전트의 운영 준비성을 위한 CAGE-1 프레임워크 제안
- 권한, 정책 집행, 도구 안전성 등 12가지 핵심 평가 항목 포함
- 행동 실행 전 제어 능력을 검증하는 '사전 결합 보증' 개념 도입
- 에이전트의 결정 과정 재현 및 감사 가능성 확보 강조
기업용 인공지능 (Enterprise AI)은 실험 단계를 넘어 운영 워크플로우로 이동하고 있습니다. 초기 프로그램들은 모델 접근성과 검색 증강 생성 (Retrieval-Augmented Generation, RAG)에 집중했으나, 이제 기업들은 계획을 세우고, 정보를 검색하며, 기억하고, 도구를 호출하며, 시스템을 업데이트하고, 애플리케이션 전반에 걸쳐 작업을 조율하는 에이전트 (Agents)를 배포하기 시작했습니다. 이는 평가 문제의 성격을 변화시킵니다. 리더들은 이제 답변이 정확하거나 유창한지 여부만을 묻지 않습니다. 그들은 누가 행동을 승인했는지, 어떤 정책이 적용되었는지, 증거가 최신인지, 메모리 (Memory)가 유효한지, 도구 호출 (Tool call)이 허용되었는지, 결정 과정을 재현 (Replay)할 수 있는지, 그리고 에이전트가 비즈니스에 영향을 미치기 전에 중단될 수 있는지 알아야 합니다. 본 논문은 CAGE-1: 기업용 에이전트 AI를 위한 제어, 보증 및 거버넌스 평가 (Control, Assurance, and Governance Evaluation for Enterprise Agentic AI)를 소개합니다. CAGE-1은 기업용 에이전트가 배포될 준비가 되었는지 결정하기 위한 평가 프레임워크입니다. 이는 권한 (Authority), 정책 집행 (Policy enforcement), 검색 품질 (Retrieval quality), 메모리 무결성 (Memory integrity), 도구 안전성 (Tool safety), 감사 가능성 (Auditability), 인간의 감독 (Human oversight), 충돌 처리 (Conflict handling), 안전한 실패 (Safe failure), 사전 결합 보증 (Prebind Assurance), 운영 준비성 (Operational readiness), 그리고 비즈니스 적합성 (Business fitness)을 평가합니다. CAGE-1은 에이전트의 행동이 구속력을 갖거나, 효력을 발생하거나, 운영상 중대한 결과를 초래하기 전에 제어되고 있음을 증명하는 평가 능력을 설명하기 위해 사전 결합 보증 (Prebind Assurance) 개념을 도입합니다. 이 프레임워크는 제안된 행동이 보호된 결과가 형성되기 전에 수락, 보류, 축소, 거부, 에스컬레이션 (Escalated), 격리 (Quarantined) 또는 무효화되는지 테스트합니다.
AI 자동 생성 콘텐츠
본 콘텐츠는 arXiv Codex (cs.SE)의 원문을 AI가 자동으로 요약·번역·분석한 것입니다. 원 저작권은 원저작자에게 있으며, 정확한 내용은 반드시 원문을 확인해 주세요.
원문 바로가기