최근에는 AI가 상당히 친숙한 존재가 되었으며, 프로덕트에 AI를組み込む 것도 드문 일이 아니게 되었습니다.

AI를 "어떻게 활용할 것인가"와 같은 정보는 세상에 넘쳐나는 반면, AI를 사용한 사용자 경험 (UX)을 어떻게 설계할 것인가에 대한 정보는 적다고 느껴집니다.

실제로 조사를 해보니, "AI 기능을 어떻게 실을 것인가"뿐만 아니라 "거버넌스 (Governance)를 어떻게 디자인할 것인가"라는 문제이기도 하다는 것을 실감했고, 단순히 편리하다는 것만으로는 치부할 수 없는 특유의 어려움이 있다는 것을 느꼈습니다.

그래서 실무에서 파악해 두어야 할 기본적인 리스크와, 디자인에서 어떤 배려를 할 수 있는지를 정리하는 형태로まとめ보려 합니다.

이번 테마는 "AI 서비스를 디자인할 때의 리스크와 UI 설계"입니다.

AI에는 불확실성이 있으며, 일정 수준의 리스크를 가지고 있다는 전제하에, 그것을 사용자에게 어떻게 보여줄지, 어떻게 판단하게 할지에 대한 힌트를 고찰합니다.

• AI 기능을 처음 설계하는 디자이너
• AI 취급 방식에 고민하고 있는 비디자이너
• AI 기술에는 자세하지 않지만, 우선 UX 설계의 핵심을 알고 싶은 사람

AI는 매우 편리한 것이지만, 그 출력값이 반드시 옳다고는 할 수 없습니다. 용도에 따라서는 그 오류가 중대한 영향을 미칠 수 있습니다.

따라서 UI/UX에서 불확실성을 적절히 전달하고, 과신을 방지하는 설계가 중요하다고 생각합니다.

여기에서는 특히 알아두어야 할 3가지 리스크를 소개합니다.

오판정(誤判定)이란, 학습 데이터의 편향으로 인해 잘못된 결과나 편향된 결과를 내놓는 것을 말합니다.

• 사례

• Google Photos의 자동 라벨링 기능에서 특정 속성의 사진에만 부적절한 태그를 붙여버린 경우

• 원인

• 학습했던 데이터에 편향이 있어, 특정 속성의 얼굴에 대해 학습 정밀도가 떨어져 있었음

참고: GIGAZINE

바이어스 (Bias)란, 사회에 존재하는 선입견이나 스테레오타입이 AI의 판단에 개입하여 이를 강화하는 것을 말합니다.

• 사례

• Amazon이 채용 선발에 AI를 이용하는 연구 개발을 하던 중, 이력서에 "여성"이라는 단어나 여성이 많은 대학명이 포함되어 있을 경우 낮은 점수를 주고 있다는 사실이 발각되었고, 최종적으로는 바이어스를 완전히 제거하는 것이 어렵다고 판단하여 개발이 중단됨

• 원인

• 학습한 지난 10년간의 기록에서는 응모자 비율 중 남성이 많았다. 과거의 채용 기록에 편향이 있음으로써 성별 등의 속성과 채용 경향을 잘못 연결해 버림

참고: type 일하는 방식 칼럼

겉보기에는 옳은 내용 같지만 "사실과 다른 내용"이나 "문맥과 무관한 내용" 등이 포함된 허위 정보를 AI가 생성하는 것입니다.

• 사례

• 미국의 재판에서 ChatGPT가 작성한 허위 판례를 포함한 법적 문서가 제출되는 케이스가 여러 건 발각됨

• 원인

• 변호사 측에서 ChatGPT 이용 시의 검증 체계가 충분하지 않아, 허위 정보가 그대로 받아들여짐

참고: 요미우리 신문

여기서 말하는 "거버넌스 디자인"이란 어려운 제도 이야기를 말하는 것이 아닙니다.

"투명성, 책임 분담을 사용자 경험 (UX)에 녹여낼 것인가"라는 의미로, AI 서비스에서는 그것들이 이용 약관이나 정책 속에만 있는 것이 아니라, 화면이나 동선, 설명문, 확인 단계 속에까지 들어와야 한다는 뜻입니다.

AI를 사용한 프로덕트는 효율화에 크게 기여하지만, 설계에 따라서는 보이지 않는 불이익이 발생할 가능성도 있습니다.

예를 들어, 직원 평가에 AI를 사용하는 케이스는 평가 정리나 판단 보조에 도움이 될 것입니다.

단, AI는 어디까지나 의사결정을 지원하는 보조 역할이며, 설명 책임과 최종 판단의 책임은 인간이 담당하는 것이 필수적입니다.

안이하게 그러한 기능을 채택하면, 왜 그런 평가가 나왔는지 본인에게 설명할 수 없거나, 관계가 적은 정보까지 평가에 엮여 불합리하게 낮은 평가가 내려질 가능성도 생각할 수 있습니다.

이러한 사례를 보면 AI 서비스는 편리한 기능만 있는 것이 아님을 알 수 있습니다. 그렇기에 "누가 어떻게 책임을 질 것인가"를 사용자 경험 속에서 설계할 필요가 있다고 생각합니다.

AI 서비스를 처음 설계할 때는 다음 4가지를 파악해 두면 정리하기 쉬워집니다.

AI는 사용자의 판단을 보조하는 것이며, 결정은 어디까지나 사용자에 의해 이루어져야 한다는 전제로 디자인한다.

• AI의 제안이나 출력이 인간의 의사결정을 보조하는 것으로서 적절하게 제공되고 있는가
• 인간의 의사결정에 대한 감정적인 유도를 하지 않는가
• AI의 출력을 어떻게 사용할지 선택할 수 있게 하고, 따르지 않을 선택지도 제공하는가

◼︎sample

image.png

인간이 최종적인 의사결정을 하기 위한 재료를 정리하여, 판단을 촉구하는 답변 내용이 되어 있다.

사용자의 입력에 대해 AI의 판단이 어떻게 이루어졌는지, 어떤 데이터를 사용했는지 등을 적절히 설명한다.

• 인간의 입력에 대한 AI의 응답 프로세스와 상태 변화를 명확히 한다
• AI의 결과나 제안에 대한 판단 근거를 제시하여 인간이 판단하기 쉽게 한다
• 의문이 생겼을 경우, 참고 정보나 추가 정보의 취득을 지원한다

◼︎sample

image.png

정보의 소스(Source)가 표시되어 있어, 근거를 자세히 조사할 수 있다.

AI의 판단이 완벽하지 않음을 나타내고, 그 전제하에 이용 및 판단하도록 권고한다.

데이터 취급이나 이용 방법 등, 프라이버시(Privacy)·보안(Security)에 관한 지침을 제시하여 즉시 확인할 수 있도록 한다.

앞으로 AI는 다양한 프로덕트(Product)에 자연스럽게 녹아들어, 사용자가 AI를 의식하지 않은 채 AI를 사용하는 상황이 보편화될 것이라고 생각합니다.

그렇기에 AI의 리스크를 어떻게 다룰지는 기술만의 과제가 아니라, 디자인의 과제이기도 하다고 생각합니다. 또한, 디자인은 AI의 가치를 사용자에게 전달하는 가교(Bridge)인 동시에, 사용자를 보호하기 위한 보루(Fortress)가 될 수도 있습니다.

만약 AI 기능 설계에 참여할 기회가 있다면, 우선 "이 UI는 AI를 과신하지 않는 형태인가"를 한 번 점검해 보시는 것을 추천합니다.

그 관점만으로도 설계의 해상도는 상당히 달라질 것이라고 생각합니다.

AI 사업자 가이드라인

※ 집필 시 「AI 사업자 가이드라인(제1.1판) 본편」 참조 - 하야카와 신서 : AI 거버넌스 입문