• 소프트웨어의 중심이 화면과 메뉴에서 벗어나
  대화/위임/백그라운드 실행으로 이동하면서, UX 디자인의 대상도 고정된 화면이 아니라 사용자의 의도를 해석하고 행동하는 시스템으로 바뀌고 있음
• 채팅은 모든 작업을 대체하는 인터페이스가 아니라, 사용자가 원하는 것을 명확히 아는 경우에는 구조화된 GUI를 사용하고 목표가 모호한 경우에만
  대화형 인터페이스를 사용하는 것이 적합함
• 음성은 사회적 상호작용으로 받아들여지므로 단발성 명령보다 대화 맥락의 유지가 중요하며,
  지연 시간/문맥 손실/오류 복구가 화면 기반 인터페이스보다 훨씬 치명적인 문제로 작용함
• 에이전트형 AI는 인터페이스 없이 작업할 수 있지만 사용자가 신뢰하려면 행동 계획, 진행 상황, 권한 범위와 되돌릴 수 없는 시점을 보여줘야 하며, 핵심 패턴은
  계획 가시성/점진적 위임/우아한 개입임
• 세 패러다임 모두 UX의 중심을 상호작용 흐름에서
  의도와 신뢰 관계로 옮기지만, 사용자가 이해받고 통제력을 유지하며 시간과 주의를 존중받고 싶어 한다는 기본 원칙은 그대로 유지됨

화면 중심 UX의 분화

• 지난 30년간 UX 디자인은 화면, 메뉴, 모달, 버튼, 캐러셀과 상태 간 흐름을 설계하는 작업이었음

• 창, 폴더, 파일로 구성된 데스크톱 메타포가 디지털 제품을 만드는 공통 어휘를 제공했음

• 이 어휘가 사라지는 대신 서로 거의 닮지 않은 여러 상호작용 방식으로 분화되고 있음

• 사용자는 소프트웨어에 말을 걸고, 작업을 위임하며, 이미 백그라운드에서 처리된 결과만 확인하기도 함

• 화면은 계속 존재하지만 사람과 제품 사이의
  기본 계약을 대표하는 표면은 아니게 됨

• 현재 UX를 재구성하는 세 가지 패러다임은 채팅, 음성, 에이전트형 AI이며, 각각 다른 상호작용 계약을 요구함

채팅은 범용 인터페이스가 아님

• 2022년에는 제품 인터페이스에 자연어 명령을 입력해본 사람이 많지 않았지만, 2025년에는 기업의 73%가 고객 상호작용에 어떤 형태로든 대화형 인터페이스를 사용하게 됨
• 텍스트 입력창이 핵심 UI 요소로 부상했지만,
  채팅 자체가 좋은 UX를 보장하지는 않음
• Erika Hall의 Conversational Design은 시스템과 사용자가 의미를 협상해야 할 때만 대화가 적절하다고 구분함
• 사용자가
  장바구니에 추가

, 가격순 필터

, 양식 제출

처럼 원하는 작업을 이미 아는 경우에는 구조화된 인터페이스가 더 빠르고 정확하며 피로가 적음

• 사용자가 탐색 중이거나 목표가 불분명하고 클릭이나 양식으로 요구를 표현하기 어려울 때 대화가 유효함

• 이를 적용한 제품들은 채팅만으로 전체 제품을 대체하지 않고
  하이브리드 인터페이스를 사용함

• Notion AI는 문서를 대체하지 않고 문서 옆 사이드바에서 동작함

• Linear의 명령 팔레트는 사용자가 이미 알고 있는 티켓 생성을 처리하고, AI는 “모바일 팀을 막고 있는 것은 무엇인가?” 같은 모호한 질문을 처리함

• GitHub Copilot은 IDE를 채팅창으로 교체하지 않고 기존 작업 환경 안에서 인라인 제안을 제공함

• 핵심 기준은 사용자의 의도가 명확하면 구조화된 GUI를, 의도가 모호하면 대화를 사용하는 것임

• 채팅을 모든 인터페이스 문제를 해결하는 범용 수단으로 취급하면 불필요한 상호작용 비용이 발생함

의도의 명확성이 인터페이스를 결정함

• 다단계 의도 기반 추천 시스템 특허인 US20260065349A1은 요청을 두 수준으로 구분함

• 미시적 의도는 동일 카테고리 안에서 신뢰도가 높은 요청임

• 거시적 의도는 여러 카테고리를 넘나드는 탐색형 목표임

• 어떤 인터페이스를 제공할지는 제품이 채팅 중심인지 GUI 중심인지가 아니라
  사용자의 의도가 얼마나 명확한지에 따라 결정돼야 함

• Perplexity는 검색 상자를 개선하는 대신 질문마다 요약문, 출처 인용, 후속 질문, 구조화 데이터를 실시간으로 조립한 답변 페이지를 생성함

• 연구에서는 사용자가 원하는 것을 말하면 해당 목적에 맞는 인터페이스가 즉석에서 조립되는 방식을 Generative UI라고 부름

• 디자이너는 모든 화면 상태를 직접 만드는 대신 적절한 상태를 생성하는
  시스템과 규칙을 설계하게 됨

• 완성된 문장을 작성하는 역할에서 문장을 생성할 문법을 만드는 역할로 이동함

생성형 인터페이스의 신뢰 설계

• 생성 결과를 한 번에 보여주는 대신 텍스트를 순차적으로 표시하면 사용자는 시스템이 멈춘 것이 아니라 작업 중이라고 인식함
• 생성 중 항상 보이는 중지 버튼은 불투명한 처리 과정에 사용자가 개입할 수 있다는 감각을 제공함
• 클릭할 수 있는 출처 인용은 챗봇을 정답을 선언하는 신탁이 아니라 근거를 함께 검토하는 협력자로 바꿈
• 스트리밍, 중지 버튼, 출처 표시처럼 작은 상호작용 설계가 전체 시스템의
  신뢰와 도입 가능성을 좌우함

음성은 명령 채널이 아니라 사회적 채널임

• 음성 인터페이스는 스마트 스피커 시대부터 주변 컴퓨팅의 핵심으로 제시됐지만 실제 경험은 기대에 미치지 못했음

• 2025년 말부터 변화의 중심이 화면이 아닌
  귀로 이동하기 시작함

• 2026년 6월 발표된 Siri AI는 휴대전화에 덧붙인 음성 비서가 아니라 기기를 가로지르는 대화 계층으로 제시됨

• iPhone에서 시작한 질문을 iPad에서 이어갈 수 있고 대화 맥락이 유지됨

• 화면에서 보고 있는 내용을 인식하고 이메일, 캘린더, 사진의 개인 맥락을 활용함

• 민감한 요청은 개인정보를 보호하는 온디바이스 추론으로 처리하며, AirPods를 보조 장치가 아닌 주요 인터페이스로 확장함

• Clifford Nass와 Scott Brave의 Wired for Speech는 사람이 음성을 명령 채널이 아니라
  사회적 상호작용 채널로 받아들인다고 분석함

• 음성을 들으면 상호성, 맥락, 관계를 기대하는 사회적 인지 체계가 활성화됨

• 기존 Siri는 명령을 내리고 결과를 받은 뒤 관계가 끝나는 거래형 모델이어서 이러한 기대와 어긋났음

• 새로운 모델은 대화와 기기, 시간에 걸쳐 맥락을 유지하는 관계형 구조를 지향함

Humane AI Pin과 Rabbit R1이 보여준 실패 조건

• Humane AI Pin은 화면 없는 음성 중심 웨어러블에 2억4,000만 달러를 투입한 제품으로, 2024년 4월 699달러에 출시됐지만 1년이 되기 전에 단종됨

• Cathy Pearl의 Designing Voice User Interfaces는 음성 경험을 좌우하는 핵심 변수로
  지연 시간과 오류 복구를 제시함

• AI Pin은 일상적인 질문에도 2~5초가 걸렸고, 음성 인터페이스에서는 2초도 매우 길게 느껴짐

• 상호작용마다 상태가 초기화돼 대화의 기본 조건인 지속적 맥락을 제공하지 못함

• Rabbit R1도 출시 당시 같은 문제를 겪었지만, 하드웨어 변경이 아니라 2025년 말 RabbitOS 2가 음성 상호작용의 요구를 반영하면서 개선됨

• 음성 UX는 화면보다
  지연과 문맥 손실에 훨씬 민감함

• 화면에서는 사용자가 주변 요소를 훑어보고 현재 위치를 다시 파악할 수 있음

• 음성에는 공간적 기억을 보조하는 시각적 기준점이 없으므로 대화 흐름이 끊기면 복구가 어려움

• 빠른 응답, 맥락 유지, 자연스러운 오류 복구를 위한 인프라 요구 수준도 더 높음

귀와 몸을 위한 새로운 디자인 요소

• 공간 오디오가 화면을 대신하는 피드백 계층으로 등장함

• AirPods의 실시간 오디오 장면 분석은 신호와 주변 소음을 구분해 소리 자체를 상태 전달 수단으로 사용할 수 있게 함

• 웨어러블의 촉각 진동은 화면을 보지 않고도 행동 완료를 확인할 수 있게 함

• 음성 패러다임은 휴대전화와 대화하는 기능보다 요리, 보행, 운전처럼
  다른 일을 하는 동안 발생하는 상호작용을 설계하는 문제임

• 사용자의 주의는 부분적으로만 제품에 향함

• 맥락은 화면 안이 아니라 신체 활동과 주변 환경에 포함됨

• 화면 레이아웃 중심의 설계 모델만으로는 대응하기 어려움

에이전트형 AI는 인터페이스 없이 행동함

• 에이전트형 AI는 질문에 답하는 것을 넘어 도구를 사용하고, 웹을 탐색하고, 코드를 작성하며, 이메일을 보내고, 양식을 제출하는 일련의 행동을 수행함

• 2024~2025년 사이 연구 시연에서 실제 제품으로 이동함

• OpenAI Operator는 식당 예약을 수행함

• Anthropic Claude는 computer use API를 통해 사용자를 대신해 웹 브라우저를 조작함

• Salesforce Agentforce는 사람의 개입 없이 고객 서비스 사례를 처음부터 끝까지 처리함

• Gartner는 2025년 5% 미만이던 업무 특화 AI 에이전트 통합 기업 애플리케이션 비중이 2026년 말 40%에 이를 것으로 전망함

• 에이전트는 작업 수행에 인터페이스가 필요하지 않지만, 사용자가 이를 신뢰하려면 행동을 파악하고 통제할
  가시적 인터페이스가 필요함

자동화와 인간 통제를 동시에 높이기

• Ben Shneiderman의 Human-Centered AI는 인간의 판단을 자율 에이전트로 대체하는 접근이 기술적으로 성급하고 윤리적으로 위험하다고 봄
• 대안은 자동화를 낮춰 인간 통제를 확보하거나 인간 통제를 없애 자동화를 높이는 방식이 아니라,
  높은 인간 통제와 높은 자동화를 함께 제공하는 것임
• 인간의 역할을 최소화하는 대신 감독을 이해하기 쉽고 접근 가능하며 부담이 적도록 설계해야 함
• 에이전트형 UX의 목표는 자율성과 통제 중 하나를 선택하는 것이 아니라 처음부터
  통제 가능한 자율성을 구축하는 것임

에이전트 투명성의 역설

• 아무 설명 없이 조용히 행동하는 에이전트는 효율적이지만 두려움을 유발할 수 있음
• 모든 행동을 계속 설명하는 에이전트는 신뢰할 수 있지만 사용자를 시스템 로그로 지치게 할 수 있음
• 적절한 설계는 사용자가 통제력을 느낄 만큼 충분히 보여주되, 시스템 내부 활동에 압도되지 않을 정도로 정보를 제한해야 함
• 실제 배포된 에이전트 제품에서 공통적으로 나타나는 패턴은 계획 가시성, 점진적 위임, 우아한 개입임

계획 가시성

• 에이전트는 행동을 시작하기 전에 무엇을 하려는지 사용자에게 보여줘야 함
  POST /api/calendar/event를 실행합니다

같은 시스템 언어가 아니라 “말씀하신 식당에 오후 7시 테이블을 예약하려고 합니다. 먼저 빈자리를 확인할까요?”처럼 사람이 이해할 수 있는 표현을 사용해야 함

• 실행 전 미리보기는 사용자가 시스템을 신뢰할지 결정하는 지점이 됨
• 다중 에이전트 강화학습 연구에서도 여러 에이전트가 시스템의 일관성을 유지하려면 행동 전에 계획을 공유해야 함

점진적 위임

• 에이전트에게 자율성을 처음부터 모두 부여하지 않고
  신뢰를 얻은 만큼 확장해야 함
• Intercom의 에이전트는 단순하고 확신도가 높은 작업부터 처리하고, 위험도가 높은 행동을 수행하기 전에는 승인을 요청함
• 사용자의 과거 승인 기록이 신뢰 모델로 작동하며, 에이전트가 신뢰성을 입증할수록 더 넓은 행동 권한을 얻음
• 인간은 직접 작업을 수행하는 방식이 아니라 에이전트가 넘지 않아야 할 경계를 설정하는 방식으로 루프 안에 남음

우아한 개입과 되돌릴 수 없는 행동

• 사용자는 에이전트 워크플로우의 어느 시점에서든 중지를 요청하고 통제권을 가져올 수 있어야 함
• 에이전트는 이메일 전송이나 항공권 예약처럼 되돌리기 어려운 행동을 수행할 수 있으므로 단순한 실행 취소 기능만으로는 충분하지 않음
• 시스템은 행동 이후 복구를 시도하기보다
  되돌릴 수 없는 지점을 넘기 전에 이를 명확하게 표시하고 승인을 받아야 함

설명 가능성이 제품 자체가 됨

• 임상 AI 시스템이 근거 없이 권고만 표시했을 때 의료진은 이를 사용하지 않았음
• 한 번에 권고 하나만 보여주고, 근거 패널과 한 번의 클릭으로 가능한 무시 기능을 제공하도록 인터페이스를 바꾼 뒤 채택이 이어짐
• AI 모델이나 권고 결과는 바뀌지 않았고 인터페이스만 변경됨
• 에이전트형 UX에서 설명 가능성은 규제 준수를 위해 덧붙이는 기능이 아니라 사용자가 제품을 받아들이게 만드는
  핵심 제품 경험임

화면 상태에서 시스템 행동으로

• 디자이너는 인터페이스에 보이는 상태뿐 아니라 사용자가 보고 있지 않을 때 시스템이 어떻게 행동할지도 설계하게 됨
• 질문도 “사용자에게 무엇이 보이는가?”에서 “사용자가 이 시스템을 신뢰하려면 무엇을 믿을 수 있어야 하는가?”로 이동함
• 시각적 구성보다 행동, 책임, 의도와 신뢰에 대한 판단이 더 중요해짐

상호작용에서 의도로

• Don Norman의 The Design of Everyday Things은 사용자가 믿는 시스템의 작동 방식과 실제 작동 방식이 다를 때 디자인이 실패한다고 봄

• 전통적 UX는 사용자가 인터페이스에 도착하기 전에 이미 수행할 행동을 결정했다고 가정함

• 사용자가 어떤 메뉴를 열지 알고 있기 때문에 메뉴가 존재함

• 어떤 필드를 채울지 알고 있기 때문에 양식이 존재함

• 실제로 사용자가 가지고 오는 것은 구체적인 의도가 아니라 더 추상적인
  목표임

• 이 차이를 무시하는 가정은 완전히 정확하지 않았지만 화면 기반 UX를 구축하는 데 30년 동안 충분히 유용했음

• 새로운 인터페이스는 목표와 의도를 분리함

• 채팅은 사용자가 목표를 자연어로 말하면 시스템이 의도를 구체화함

• 음성은 손을 사용할 수 없는 상황에서도 목표를 표현할 수 있게 함

• 에이전트는 목표를 한 번 전달받고 이를 충족하는 다단계 계획을 실행함

• 세 패러다임을 묶는 공통 변화는
  상호작용이 아니라 의도가 주요 디자인 대상이 된다는 점임

디자이너는 신뢰 관계를 설계함

• 디자이너의 역할은 상호작용 흐름의 설계자에서 사용자를 대신해 행동하는 시스템과 인간 사이의
  신뢰 관계 설계자로 이동함

• 새롭게 다뤄야 할 대상에는 다음이 포함됨

• 사용자가 시스템에 얼마나 많은 작업을 위임할지

• 모호한 요구를 시스템이 어떻게 해석할지

• 사용자가 말한 것과 실제 원하는 것 사이의 차이를 어떻게 확인할지

• 이 작업에는 새로운 도구와 평가 방법이 필요함

• 인간-AI 상호작용 연구는 작업 완료 여부만 측정하지 않고 사용자가 충분한 정보를 받았으며 통제력을 유지했다고 느끼는지 평가하는 방법을 제안함

• 사용자를 대신해 판단하는 시스템을 만들 때 어떤 결정을 위임해도 되는지에 대한 윤리적 기준도 필요함

채팅/음성/에이전트 디자이너의 과제

• 채팅 인터페이스에서는 채팅을 적용할 지점보다
  채팅을 사용하지 말아야 할 지점을 판단하는 일이 가장 어려움

• 성과를 내는 제품은 가장 강력한 AI를 가진 제품이 아니라 대화와 양식에 적합한 작업을 정확히 구분하는 제품임

• 이 구분은 엔지니어링이 아니라 디자인 결정임

• 음성 인터페이스에서는 화면 밖의 요소를 설계해야 함

• 레이아웃보다 응답 시간이 중요하므로 시간을 설계해야 함

• 사용자가 무엇을 기억하고 있는지 고려해 맥락을 설계해야 함

• 시스템이 이해하지 못했을 때 대화를 복구하는 방법을 설계해야 함

• 오디오 피드백, 촉각, 공간적 신호, 대화 복구 전략이 새로운 도구가 됨

• 에이전트형 시스템은 정립된 패턴이 가장 적고 위험도가 가장 높은 영역임

• 투명성, 개입 통제, 점진적 위임에 대한 결정이 사용자가 권한을 부여받았다고 느낄지 감시받는다고 느낄지 좌우함

• 개별 제품을 넘어 여러 산업에서 사람들이 AI에 얼마나 많은 자율성을 부여할지에도 영향을 줌

• 세 패러다임을 한 제품에서 함께 지원할 경우 서로 다른 상호작용 계약을 가진 인터페이스들을 하나의 일관된 경험으로 연결하는
  조정 문제까지 해결해야 함

바뀌지 않는 UX의 원칙

• 새로운 인터페이스가 등장해도 사용자는 여전히 자신이 이해받고 있다고 느끼길 원함
• 통제력을 잃는 것을 두려워하고, 불투명한 제품을 피하며, 정직한 제품을 신뢰함
• 사용자를 무능하거나 느리게 느끼게 만드는 제품은 계속 외면받음
• 좋은 UX 디자이너의 역할은 언제나 사용자가 자신을 유능하고 이해받는 존재로 느끼게 만드는 것이었음
• 채팅, 음성, 에이전트는 이를 수행하기 위한 새로운 악기이며,
  명확성/신뢰/즐거움/시간과 주의에 대한 존중이라는 기준은 변하지 않음

더 읽을거리

댓글과 토론