범용 에이전트를 위한 설계 기반의 거버넌스 (Governance by Construction)
요약
기업용 에이전트의 안전한 배포를 위해 모델 미세 조정 없이도 정책을 강제할 수 있는 '설계 기반의 거버넌스(Governance by Construction)' 아키텍처를 제안합니다. CUGA 정책 시스템은 모듈형 Policy-as-code 레이어를 통해 에이전트의 계획, 도구 호출, 인간 개입, 출력 등 실행 파이프라인 전반에 걸쳐 예측 가능하고 감사 가능한 동작을 보장합니다.
핵심 포인트
- 모델 미세 조정 없이도 복합적인 워크플로에서 규정 준수 및 예측 가능한 동작 구현 가능
- Intent Guard, Playbook, Tool Guide, Tool Approvals, Output Formatter의 5단계 구조적 체크포인트 제공
- 런타임 거버넌스 아키텍처를 통해 실행 파이프라인 전반에 정책을 지속적으로 내장
- 의료 시나리오 등 고위험 환경에서 동적 플레이북 주입 및 인간 참여(Human-in-the-Loop)를 통한 안전성 확보
기업용 에이전트(Enterprise agents)는 다양한 도구와 인터페이스를 가로질러 자율적으로 작동할 것이라는 기대가 점점 커지고 있지만, 실제 운영 환경에 배포하기 위해서는 설계 기반의 거버넌스 (Governance by construction)가 필요합니다. 시스템은 각 도메인마다 에이전트를 새로 구축하지 않고도 어떤 행동이 허용되는지, 언제 인간의 감독이 필요한지, 그리고 어떤 정보가 노출될 수 있는지를 명시해야 합니다. 본 데모는 CUGA의 정책 시스템을 소개합니다. 이는 모듈형 정책 코드화 (Policy-as-code) 레이어로, 범용 LLM 에이전트와 결합하여 모델 미세 조정 (Fine-tuning) 없이도 복합적인 워크플로에서 예측 가능하고, 감사 가능하며, 규정 준수를 인식하는 동작을 제공합니다. 우리는 실행의 모든 중요한 단계에서 정책 개입을 강제하는 런타임 거버넌스 (Runtime governance) 아키텍처를 제시합니다. 정책은 단순히 행동을 수동적으로 제한하는 것이 아니라, 다섯 가지 구조적 체크포인트에서 에이전트를 가로챕니다: 계획 단계의 상류 (Intent Guard), 추론을 유도하기 위한 시스템 프롬프트 내부 (Playbook), 적절한 사용을 강제하기 위한 도구 호출 (Tool-call) 경계 (Tool Guide), 고위험 행동에 대한 인간 참여 (Human-in-the-Loop) 게이트로서 추론 루프 외부 (Tool Approvals), 그리고 최종 응답을 필터링하고 구조화하는 출력 단계 (Output Formatter)입니다. 이러한 단계들은 거버넌스를 사후 고려 사항으로 취급하는 대신, 에이전트의 실행 파이프라인 전반에 걸쳐 지속적으로 내장합니다. 의료 시나리오와 다층적 집행 개입을 사용하여, 이 데모는 구조화된 도구 시퀀스 강제를 위한 동적 플레이북 주입 (Dynamic playbook injection), 악의적이거나 실수로 발생한 유해한 요청을 차단하는 의도 가드 (Intent guards), 그리고 잠재적으로 파괴적인 행동에 대한 인간 참여형 도구 승인 체크포인트를 보여줍니다. 이 결과물은 타입화된 거버넌스 프리미티브 (Typed governance primitives)가 어떻게 정책 준수와 실행 일관성을 향상시키는 동시에, 기업용 에이전트 시스템의 더 빠르고 안전한 배포를 가능하게 하는지 보여줍니다.
AI 자동 생성 콘텐츠
본 콘텐츠는 arXiv cs.AI의 원문을 AI가 자동으로 요약·번역·분석한 것입니다. 원 저작권은 원저작자에게 있으며, 정확한 내용은 반드시 원문을 확인해 주세요.
원문 바로가기