자율 시스템을 위한 책임 있는 AI: 전통적인 챗봇을 넘어서는 원칙

대부분의 Responsible AI (RAI) 프레임워크는 이전 세대의 머신러닝을 위해 구축되었습니다.

이들은 예측 모델(예: 신용 점수 산정 또는 사기 탐지)이나 수동적인 챗봇에 초점을 맞추었습니다. NIST, Microsoft, Google, Anthropic의 프레임워크를 통해 공정성(fairness), 신뢰성(reliability), 개인정보 보호(privacy), 투명성(transparency), 책임성(accountability)과 같은 가치 있는 원칙들이 확립되었습니다.

이러한 원칙들은 여전히 필수적입니다. 하지만 수동적인 챗봇에서 자율적으로 도구를 사용하는 AI 에이전트로 이동할 때, 전통적인 원칙만으로는 충분하지 않습니다.

일반적인 챗봇은 텍스트를 생성하기만 합니다. 만약 부정확한 문장을 환각(hallucinates)으로 만들어내도, 사용자는 그것을 읽고 오류를 발견할 수 있습니다.

AI 에이전트는 단순히 텍스트를 출력하는 것이 아닙니다. 계획을 세우고, 도구를 선택하고, 쿼리를 작성하며, API 호출을 트리거하고, 외부 시스템을 업데이트합니다. 만약 에이전트가 단계에 대한 환각을 일으키거나 프롬프트 인젝션(prompt injection)의 희생양이 된다면, 고객 데이터를 삭제하거나, 클라우드 예산을 소진시키거나, 연쇄적인 시스템 장애를 유발할 수 있습니다.

기업용 에이전트 플랫폼을 안전하게 구축하기 위해, 우리는 전통적인 책임 있는 AI 원칙들을 자율 시스템을 위한 구체적인 원칙들로 확장했습니다.

여기 아이디어와 이것이 프로덕션에서 어떻게 작동했는지, 그리고 무엇에 주의해야 하는지에 대한 내용이 있습니다.

아이디어: 자율 행동의 경계 설정 (Bounding Autonomous Action)

자율 에이전트는 하드 바운더리(hard boundaries) 없이 절대 작동해서는 안 됩니다. 우리는 세 가지 핵심 범주에 걸쳐 에이전트 책임 있는 AI 원칙들을 구조화했습니다:

+--------------------------------------------------------------------------+
|                  자율 시스템을 위한 책임 있는 AI                   |
|                                                                          |
...

1. 경계가 설정된 주체성 (Bounded Agency)

에이전트의 자율성은 정의되고 검증 가능한 경계 내로 엄격하게 제한되어야 합니다. 그 계획 수립과 도구 사용은 의도된 목적을 넘어서는 안 됩니다.

코딩과 아키텍처를 통해 경계를 설정해야 하며, 시스템 프롬프트에 부드러운 지침을 작성하는 것만으로는 충분하지 않습니다.
최소 권한 원칙(principle of least privilege)을 사용하여 도구 접근을 제한해야 합니다. 에이전트가 레코드를 읽는 것만 필요하다면, 레코드를 수정하거나 삭제할 수 있는 API 엔드포인트에 대한 접근 권한을 가져서는 안 됩니다.

2. 경제적 경계(Economic Boundedness)

에이전트는 엄격한 컴퓨팅 및 재정 예산 내에서 작동해야 합니다.

경제적 한계가 없다면, 재귀적인 계획 루프(recursive planning loop)에 빠진 에이전트는 수천 개의 API 호출을 발생시켜 '지갑 거부 공격(Denial of Wallet)'이나 막대한 클라우드 비용으로 이어질 수 있습니다.
모든 에이전트 세션은 최대 추론 턴(reasoning turns), 요청당 토큰 소비량, 일일 총 재정 비용에 대한 엄격한 제한을 적용해야 합니다.

3. 예측 가능한 도구 사용(Predictable Tool Use)

에이전트는 사전에 승인된 도구만을 사용하고, 입력 매개변수는 엄격하게 검증되어야 합니다.

언어 모델이 생성한 도구 인자(tool arguments)는 신뢰할 수 없는 사용자 입력처럼 취급해야 합니다.
결정론적 중개 프록시(deterministic mediation proxy)가 호출을 모든 백엔드 서비스로 전달하기 전에 엄격한 JSON 스키마에 따라 인자를 검증해야 합니다.

4. 인간 개입 루프 감독 및 가역성(Human-in-the-Loop Oversight & Reversibility)

중요하거나 파괴적인 조치에는 인간의 확인이 필요합니다.

에이전트가 높은 영향도를 가진 조치(예: 리소스 삭제, 재무 기록 수정 또는 외부 통신 전송)를 제안하는 경우, 플랫폼은 실행을 중단하고 인간 운영자에게 명시적인 승인 카드를 제시해야 합니다.
작업에는 명확한 종료 기준(

잘 작동했던 방식

무한 루프 추론 방지: 경제적 경계(economic boundedness)를 적용함으로써 클라우드 지출에서 수천 달러를 절약했습니다. 복잡한 엣지 케이스(edge cases)가 에이전트(agent)로 하여금 재귀적 계획 주기(recursive planning cycles)에 진입하게 했을 때, 하드 토큰 및 턴 제한(hard token and turn limits)은 예산을 소진하는 대신 프로세스를 우아하게 중단시켰습니다.
과도한 에이전시 방어: 최소 권한 도구 허용 목록(least-privilege tool allowlists)을 적용함으로써 프롬프트 주입 공격(prompt injection attacks)이 실제 피해를 입히는 것을 막았습니다. 신뢰할 수 없는 문서가 에이전트를 속여 시스템 변경을 시도하게 만들었더라도, 해당 도구가 에이전트의 승인된 허용 목록에 없었기 때문에 플랫폼이 호출을 차단했습니다.
사용자 및 운영자 신뢰 구축: 쓰기 작업(write actions)에 대한 인간 개입 루프(human-in-the-loop) 검토 지점(checkpoints)을 마련함으로써 비즈니스 팀들이 에이전트를 채택하는 데 주저함이 없었습니다. 사용자들은 명시적이고 수동적인 승인 없이는 에이전트가 파괴적인 작업을 실행할 수 없다는 것을 알게 되었습니다.
빠른 사고 감사(Incident Auditing): 에이전트가 예상치 못한 출력을 생성했을 때, 운영상의 설명 가능성(operational explainability) 덕분에 엔지니어들은 정확한 추론 체인(reasoning chain), 도구 매개변수(tool parameters), 검색된 문서 청크(retrieved document chunks)를 몇 분 만에 검사할 수 있었습니다.

주의해야 할 점

인간 검토 피로 (Human Review Fatigue): 사소하고 하찮은 모든 행동에 대해 인간의 승인을 요구한다면, 사용자는 세부 내용을 읽는 것을 멈추고 무비판적으로 '승인' 버튼을 누를 것입니다. 진정으로 중대한 결과(consequential), 되돌릴 수 없는(irreversible) 또는 쓰기 권한이 필요한 작업에만 인간 개입 루프(human-in-the-loop) 게이트를 요구해야 합니다.
다중 에이전트 조정 교착 상태 (Multi-Agent Coordination Deadlocks): 여러 자율 에이전트가 상호 작용할 때(예: 오케스트레이터가 서브 에이전트에게 작업을 위임하는 경우), 이들은 순환 종속 루프(circular dependency loops)에 빠질 수 있습니다. 경쟁하는 행동을 해소하기 위해 타임아웃 제한과 중앙 집중식 감독자(centralized supervisors)를 구현해야 합니다.
프롬프트 제약 조건에만 의존: _"레코드를 삭제하지 마시오"_와 같은 시스템 프롬프트(system prompt)를 유일한 보안 경계로 절대 신뢰해서는 안 됩니다. 모델은 영리한 탈옥(jailbreaks)이나 간접적인 프롬프트 주입(prompt injections)에 의해 조작될 수 있습니다. 하드 제약 조건(Hard constraints)은 결정론적 백엔드 코드와 API 권한에 존재해야 합니다.
오래된 월드 모델 (Stale World Models): 캐시된 정보에 의존하는 에이전트는 오프라인인 API를 사용하거나 이미 이동된 항목을 참조하려고 시도할 수 있습니다. 에이전트가 중요한 작업을 실행하기 전에 상태(state)를 확인하도록 보장해야 합니다.