에이전틱 AI를 위한 설계: 제어, 동의 및 책임성을 위한 실무 UX 패턴

이 시리즈의 첫 번째 파트에서 우리는 생성형 (Generative) 인공지능에서 에이전틱 (Agentic) 인공지능으로의 근본적인 변화를 확립했습니다. 우리는 제안하는 단계에서 실행하는 단계로의 이러한 도약이 왜 UX 리서처, 제품 관리자(Product Manager), 그리고 리더들에게 새로운 심리학적 및 방법론적 도구 세트를 요구하는지 탐구했습니다. 우리는 제안에서 자율적 실행에 이르는 에이전틱 행동의 분류 체계를 정의하고, 필수적인 연구 방법론을 개괄했으며, 에이전틱 슬러지 (Agentic Sludge)의 위험을 정의하고, 이 새로운 영역을 탐색하는 데 필요한 책임성 지표를 설정했습니다. 우리는 '무엇(what)'과 '왜(why)'를 다루었습니다.

이제 우리는 기초에서 기능으로 넘어갑니다. 이 기사는 '어떻게(how)'를 제공합니다. 즉, 강력할 뿐만 아니라 투명하고 (Transparent), 제어 가능하며 (Controllable), 사용자의 신뢰를 받을 가치가 있는 (Worthy of user trust) 에이전틱 시스템을 구축하는 데 필수적인 구체적인 디자인 패턴, 운영 프레임워크 및 조직적 관행을 다룹니다. 우리의 연구가 진단 도구라면, 이 패턴들은 **치료 계획 (Treatment plan)**입니다. 이는 우리가 AI에게 전례 없는 자율성을 부여하는 동안에도 사용자에게 명확한 제어감을 줄 수 있는 실질적인 메커니즘입니다. 목표는 자율성이 시스템에 의해 탈취된 권리가 아니라, 사용자에 의해 부여된 특권처럼 느껴지는 경험을 만드는 것입니다.

에이전틱 시스템을 위한 핵심 UX 패턴

에이전틱 AI를 설계하는 것은 **관계 (Relationship)**를 설계하는 것입니다. 이 관계는 다른 모든 성공적인 파트너십과 마찬가지로 명확한 소통, 상호 이해, 그리고 설정된 경계 위에 구축되어야 합니다.

제안에서 실행으로의 전환을 관리하기 위해, 우리는 에이전틱 상호작용의 기능적 수명 주기를 따르는 6가지 패턴을 활용합니다:

실행 전 (의도 설정 - Pre-Action (Establishing Intent))

의도 미리보기 (Intent Preview)와 자율성 다이얼 (Autonomy Dial)은 어떤 일이 일어나기 전에 사용자가 계획과 에이전트의 경계를 정의하도록 보장합니다.

실행 중 (맥락 제공 - In-Action (Providing Context))

설명 가능한 근거 (Explainable Rationale)와 신뢰도 신호 (Confidence Signal)는 에이전트가 작동하는 동안 투명성을 유지하며, '이유(why)'와 '얼마나 확실한지(how certain)'를 보여줍니다.

실행 후 (안전 및 복구 - Post-Action (Safety and Recovery))

액션 감사 및 실행 취소(Action Audit & Undo)와 에스컬레이션 경로(Escalation Pathway)는 오류나 모호성이 높은 순간을 위한 안전망을 제공합니다.

아래에서는 성공을 위한 지표(metrics)에 대한 권장 사항을 포함하여 각 패턴을 자세히 다루겠습니다. 이러한 목표치는 업계 표준을 기반으로 한 대표적인 벤치마크이며, 귀하의 특정 도메인 위험도에 따라 조정하십시오.

1. 의도 미리보기 (The Intent Preview): 무엇을(What) 어떻게(How) 할지 명확히 하기

이 패턴은 대화형 방식으로 *“제가 지금 하려는 작업은 이것입니다. 괜찮으신가요?”*라고 말하는 것과 같습니다. 이는 사용자-에이전트 관계에서 동의(consent)를 구하는 기초적인 단계입니다.

에이전트가 중요한 작업을 수행하기 전에, 사용자는 곧 어떤 일이 일어날지에 대해 명확하고 모호하지 않은 이해를 가져야 합니다. 의도 미리보기(Intent Preview) 또는 계획 요약(Plan Summary)은 고지된 동의(informed consent)를 확립합니다. 이는 실행 전의 대화적 일시 정지이며, 자율적 프로세스의 블랙박스(black box)를 투명하고 검토 가능한 계획으로 변환합니다.

심리학적 근거 (Psychological Underpinning)

실행 전 계획을 제시하면 인지 부하(cognitive load)를 줄이고 놀라움을 제거하며, 사용자가 에이전트가 자신의 의도를 진정으로 이해했는지 확인할 수 있는 순간을 제공합니다.

효과적인 의도 미리보기의 구조:

명확성과 간결성 (Clarity and Conciseness)

미리보기는 즉시 이해할 수 있어야 합니다. 기술적 전문 용어(technical jargon)를 피하고 평이한 언어로 주요 작업과 결과를 요약해야 합니다. 예를 들어, “cancel_booking(id: 4A7B)을 위한 API 호출 실행 중” 대신 *“샌프란시스코행 AA123 항공편 취소”*라고 명시해야 합니다.

순차적 단계 (Sequential Steps)

다단계 작업의 경우, 미리보기는 주요 단계를 개략적으로 설명해야 합니다. 이를 통해 에이전트의 논리를 드러내고 사용자가 제안된 순서에서 잠재적인 문제를 발견할 수 있도록 합니다.

명확한 사용자 작업 (Clear User Actions)

미리보기는 단순한 알림이 아니라 의사 결정 지점입니다. 반드시 명확한 선택지 세트가 동반되어야 합니다. 이는 의도적인 마찰(intentional friction)의 순간이며, 특히 되돌릴 수 없거나 위험도가 높은 작업에 대해 사용자가 의식적인 선택을 내리도록 설계된 프로세스상의 '과속 방지턱(speed bump)'입니다.

이 시리즈의 첫 번째 파트에서 다루었던 여행 비서 시나리오를 다시 살펴보겠습니다. 우리는 이 선제적(proactive) 비서를 사용하여 에이전트가 항공편 취소를 어떻게 처리하는지 설명하고자 합니다. 에이전트는 항공편 취소를 감지했으며 복구 계획(recovery plan)을 수립했습니다.

의도 미리보기(Intent Preview)는 다음과 같은 모습일 것입니다:

여행 차질에 대한 제안된 계획

오전 10:05 항공편이 취소된 것을 감지했습니다. 제가 수행할 계획은 다음과 같습니다: [ 이 계획 진행 ] [ 계획 수정 ] [ 직접 처리 ]

UA456 항공편 취소
환불을 처리하고 취소 세부 정보를 확인합니다.

DL789 항공편으로 재예약
확정된 좌석이 있는 다음 직항편인 오후 2:30 직항편의 좌석을 예약합니다.

호텔 예약 업데이트
Marriott 측에 귀하가 늦게 도착할 것임을 알립니다.

업데이트된 일정 이메일 발송
새로운 항공편 및 호텔 세부 정보를 귀하와 귀하의 비서인 Jane Doe에게 보냅니다.

이 미리보기는 취소부터 커뮤니케이션에 이르기까지 전체적인 그림을 제공하고, 세 가지 뚜렷한 경로인 완전한 동의(진행), 수정 의사(계획 수정), 또는 완전한 무시(직접 처리)를 제공하기 때문에 효과적입니다. 이러한 다각적인 제어는 신뢰의 근간입니다.

이 패턴을 우선시해야 하는 경우

이 패턴은 되돌릴 수 없는 작업(예: 사용자 데이터 삭제), 금액에 상관없는 금융 거래가 포함된 작업, 다른 사람이나 시스템과 정보를 공유하는 작업, 또는 사용자가 쉽게 되돌릴 수 없는 중대한 변경을 수행하는 모든 작업에 대해 타협할 수 없는 필수 사항입니다.

누락 시의 위험

이 기능이 없다면 사용자는 에이전트의 행동에 기습을 당했다고 느끼게 되며, 통제권을 되찾기 위해 해당 기능을 비활성화할 것입니다.

성공 지표:

수락 비율 (Acceptance Ratio)
수정 없이 수락된 계획 / 표시된 총 계획 수. 목표치 > 85%.

무시 빈도 (Override Frequency)
'직접 처리' 클릭 총 횟수 / 표시된 총 계획 수. 비율이 10%를 초과하면 모델 검토를 수행합니다.

회상 정확도 (Recall Accuracy)
미리보기가 숨겨진 10초 후에 계획의 단계를 정확하게 나열할 수 있는 테스트 참가자의 비율.

고위험 도메인에의 적용

여행 계획은 공감하기 쉬운 기준점(Baseline)이지만, 이 패턴은 오류가 단순히 여행객 개인의 불편함을 넘어선 결과를 초래하는 복잡하고 고위험인(High-stakes) 환경에서 필수적이 됩니다. 우리 중 상당수는 잘못된 결정이 시스템 중단(System outage)을 일으키거나, 환자의 안전을 위협하거나, 혹은 신뢰할 수 없는 기술이 초래할 수 있는 수많은 다른 재앙적인 결과로 이어질 수 있는 환경에서 일합니다.

클라우드 인프라(Cloud infrastructure) 관리를 담당하는 DevOps 릴리스 에이전트(DevOps Release Agent)를 예로 들어보겠습니다. 이 맥락에서 의도 미리보기(Intent Preview)는 실수로 인한 다운타임(Downtime)을 방지하는 안전 장벽 역할을 합니다.

이 인터페이스에서는 일반적인 용어 대신 구체적인 전문 용어(트래픽 드레인(Drain Traffic), 롤백(Rollback))가 사용되며, 동작은 이진적(Binary)이고 영향력이 큽니다. 사용자는 단순히 제안을 승인하는 것이 아니라, 에이전트의 로직을 바탕으로 주요 운영 전환을 권한 부여(Authorize)합니다.

2. 자율성 다이얼(The Autonomy Dial): 점진적 권한 부여를 통한 신뢰 조율

모든 건강한 관계에는 경계가 있습니다. 자율성 다이얼(Autonomy Dial)은 사용자가 에이전트와 경계를 설정하는 방법으로, 에이전트가 스스로 처리하는 것에 대해 사용자가 어느 정도까지 편안함을 느끼는지 정의합니다.

신뢰는 이진 스위치가 아니라 스펙트럼입니다. 사용자는 낮은 위험도의 작업은 에이전트가 자율적으로 처리하도록 신뢰할 수 있지만, 높은 위험도의 결정에 대해서는 완전한 확인을 요구할 수 있습니다. 점진적 권한 부여(Progressive authorization)의 한 형태인 자율성 다이얼을 통해 사용자는 선호하는 에이전트 독립성 수준을 설정할 수 있으며, 이를 통해 관계를 정의하는 데 능동적인 참여자가 됩니다.

심리학적 근거 (Psychological Underpinning)

사용자가 에이전트의 자율성을 조정할 수 있게 하면 사용자에게 통제 소재(Locus of control)를 부여하여, 시스템의 동작을 개인의 위험 허용 범위(Risk tolerance)에 맞출 수 있게 합니다.

구현 (Implementation)

이는 애플리케이션 내에서 단순하고 명확한 설정으로 구현될 수 있으며, 이상적으로는 작업 유형별(Per-task-type)로 제공되어야 합니다. 첫 번째 기사에서 사용한 분류 체계(Taxonomy)를 활용하면 설정은 다음과 같을 수 있습니다:

관찰 및 제안 (Observe & Suggest)

기회나 문제에 대해 알림을 받고 싶지만, 에이전트가 계획을 제안해서는 안 됩니다.

계획 및 제안 (Plan & Propose)

에이전트는 계획을 생성할 수 있지만, 어떤 행동이 취해지기 전에 반드시 제가 모든 계획을 검토해야 합니다.확인 후 실행 (Act with Confirmation)

익숙한 작업의 경우, 에이전트가 행동을 준비할 수 있으며 저는 최종 승인(go/no-go)을 내립니다.자율적 실행 (Act Autonomously)

사전 승인된 작업(예: 50달러 미만의 청구 금액에 대한 이의 제기)의 경우, 에이전트는 독립적으로 행동하고 사후에 저에게 알림을 보낼 수 있습니다.

예를 들어, 이메일 어시스턴트는 회의 일정을 잡는 것과 사용자를 대신해 이메일을 보내는 것에 대해 서로 다른 자율성 다이얼(autonomy dial)을 가질 수 있습니다. 이러한 세분화(granularity)는 사용자의 신뢰라는 미묘한 현실을 반영하기 때문에 매우 중요합니다.

이 패턴을 우선시해야 하는 경우

작업의 위험도와 개인적 선호도가 크게 다양한 시스템(예: 금융 관리 도구, 커뮤니케이션 플랫폼)에서 이 패턴을 우선시하십시오. 이는 온보딩(onboarding) 과정에서도 필수적이며, 사용자가 낮은 자율성에서 시작하여 신뢰가 쌓임에 따라 자율성을 높일 수 있도록 합니다.

누락 시의 리스크

이 패턴이 없다면, 단 한 번의 실패를 경험한 사용자는 단순히 권한을 낮추는 대신 에이전트를 완전히 포기해 버릴 것입니다.

성공 지표:

신뢰 밀도 (Trust Density)
설정별 사용자 비율 (예: 제안 20%, 확인 50%, 자동 30%).

설정 이탈률 (Setting Churn)
월간 설정 변경 횟수 / 총 활성 사용자 수. 높은 이탈률은 신뢰의 변동성(volatility)을 나타냅니다.

3. 설명 가능한 근거: '왜?'에 답하기

행동을 취한 후, 좋은 파트너는 자신의 추론(reasoning)을 설명합니다. 이 패턴은 행동 후에 이어지는 공개적인 소통이며, 질문이 나오기도 전에 *'왜?'*에 대해 답하는 것입니다. “과거에 X를 선호한다고 말씀하셨기 때문에 이 작업을 수행했습니다.”

에이전트가 행동할 때, 특히 자율적으로 행동할 때 사용자의 마음속에 즉각적으로 떠오르는 질문은 종종 *'왜 그렇게 했지?'*입니다. 설명 가능한 근거 (Explainable Rationale) 패턴은 이 질문에 선제적으로 답하며, 에이전트의 결정에 대한 간결한 정당성을 제공합니다. 이것은 기술적인 로그 파일 (log file)이 아닙니다. 이 시리즈의 첫 번째 기사에서 우리는 기만 (deception)을 방지하기 위해 시스템 기본 요소 (system primitives)를 사용자 지향적 언어로 번역하는 것에 대해 논의했습니다. 이 패턴은 해당 원칙의 실질적인 적용입니다. 이는 가공되지 않은 로직을 사용자가 직접 명시한 선호도 및 이전 입력값에 근거한, 사람이 읽을 수 있는 설명으로 변환합니다.

심리학적 기초 (Psychological Underpinning)

에이전트의 행동이 설명 가능할 때, 사용자는 그 행동이 무작위적이기보다는 논리적이라고 느끼며, 에이전트가 어떻게 사고하는지에 대한 정확한 멘탈 모델 (mental model)을 구축하는 데 도움을 받습니다.

효과적인 근거 (Effective Rationales):

선례에 근거함 (Grounded in Precedent)

가장 좋은 설명은 규칙, 선호도 또는 이전 행동과 연결됩니다.

단순하고 직접적임 (Simple and Direct)

복잡한 조건부 로직 (conditional logic)을 피하십시오. *“당신이 X라고 말했기 때문에, Y를 수행했습니다”*와 같은 단순한 구조를 사용하십시오.

여행 예시로 돌아가서, 항공편이 자율적으로 재예약된 후 사용자는 알림 피드에서 다음과 같은 내용을 볼 수 있습니다:

취소된 항공편을 재예약했습니다. [ 새 일정 보기 ] [ 이 작업 취소 ]

새 항공편: Delta 789, 오후 2:30 출발.
이 작업을 수행한 이유:

• 기존 항공편이 항공사에 의해 취소되었습니다.
• 귀하는 당일 직항 항공편에 대한 자율 재예약을 사전 승인했습니다.

이 근거는 명확하고 방어 가능하며, 에이전트가 사용자가 설정한 경계 내에서 작동하고 있다는 생각을 강화합니다.

이 패턴을 우선시해야 할 때

맥락상 이유가 즉각적으로 명확하지 않은 모든 자율적 행동, 특히 백그라운드에서 발생하거나 외부 이벤트(항공편 취소 예시와 같은)에 의해 트리거되는 행동에 대해 이 패턴을 우선시하십시오.

누락 시의 위험 (Risk of Omission)

이것이 없다면, 사용자는 타당한 자율적 행동을 무작위적인 동작이나 '버그 (bugs)'로 해석하게 되어, 올바른 멘탈 모델 (mental model)을 형성하는 것을 방해받게 됩니다.

성공 지표 (Metrics for Success):

왜? 티켓 볼륨 (Ticket Volume)

활성 사용자 1,000명당 “에이전트 동작 — 불분명함 (Agent Behavior — Unclear)”으로 태그된 고객 지원 티켓 수.

근거 검증 (Rationale Validation)

상호작용 후 진행되는 마이크로 서베이 (microsurveys)에서 설명을 '도움이 됨 (Helpful)'이라고 평가한 사용자의 비율.

4. 신뢰도 신호 (The Confidence Signal)

이 패턴은 에이전트가 관계 속에서 자기 인식 (self-aware)을 갖는 것에 관한 것입니다. 에이전트가 스스로의 신뢰도 (confidence)를 전달함으로써, 사용자가 에이전트의 판단을 언제 신뢰하고 언제 더 면밀히 검토해야 할지 결정하는 데 도움을 줍니다.

사용자가 스스로의 신뢰도를 조정 (calibrate)할 수 있도록, 에이전트는 자신의 계획과 행동에 대한 신뢰도를 드러내야 합니다. 이를 통해 에이전트의 내부 상태를 더 읽기 쉽게 (legible) 만들고, 사용자가 결정을 더 자세히 조사해야 할 시점을 결정하는 데 도움을 줍니다.

심리학적 근거 (Psychological Underpinning)

불확실성을 드러내는 것은 자동화 편향 (automation bias)을 방지하는 데 도움이 되며, 사용자가 계획을 맹목적으로 수용하기보다 신뢰도가 낮은 계획을 면밀히 검토하도록 유도합니다.

구현 (Implementation):

신뢰도 점수 (Confidence Score)

단순한 백분율(예: 신뢰도: 95%)은 빠르고 훑어보기 쉬운 지표가 될 수 있습니다.

범위 선언 (Scope Declaration)