정서적 사각지대: 인센티브가 돌봄을 압도할 때 지원 시스템이 실패하는 방식

지원 시스템이 무너질 때, 그 시스템의 진정한 인센티브가 드러납니다. 정서적 맹목성(affective blindness), 거버넌스(governance), 그리고 왜 봇(bot)은 적대감을 증폭시키면서도 결코 해를 끼치지는 않는지에 대한 현장 보고서입니다.

모든 시스템에는 그 본질이 드러나는 순간이 있습니다. 마케팅 문구에서도, 온보딩(onboarding) 흐름에서도 아닌, 무언가 고장 나고 인간이 도움을 요청하는 바로 그 순간입니다.

이번 주, 학생과 동문을 위해 명시적으로 설계된 플랫폼인 Handshake에서 저에게 그 순간이 찾아왔습니다. 사기성 고용주가 그들의 검증 파이프라인(verification pipeline)을 뚫고 들어와 개인 정보를 수집했고, 어떤 학생도 겪어서는 안 될 신원 도용(identity-theft)의 연쇄 반응을 일으켰습니다. 제가 이를 신고하려고 시도했을 때, "피드백 제출(Submit Feedback)" 버튼은 작동하지 않았습니다. Firefox에서도, Edge에서도, 시크릿 모드에서도, 전혀 작동하지 않았습니다.

그 뒤에 나타난 지원 챗봇(chatbot)은 빠르고 세련되었지만, 완전히 눈이 멀어 있었습니다. 챗봇은 제가 던진 모든 정서적 지표(emotional indicator)—긴급함, 고통, 좌절, 상황 악화(escalation)—를 무시했고, 제가 마침내 그것이 쓸모없다고 직설적으로 말할 때까지 무관한 흐름(flow) 속에서 저를 반복적으로 돌게 했습니다. 그제서야 챗봇은 상담원(human)에게 연결했습니다.

그리고 그 순간, 시스템은 자신의 구조를 드러냈습니다.

이것은 사용성(usability)의 실패가 아니었습니다. 인센티브(incentive)의 실패였습니다.

I. 정서적으로 지능적인 시스템의 사진 음영(Photo-Negative)

저를 놀라게 한 것은 고장 난 버튼이 아니었습니다. 버튼은 고장 날 수 있습니다.

저를 놀라게 한 것은 정서적 맹목성(affective blindness)이었습니다. 즉, 제가 단순히 편의를 위해 그곳에 있는 것이 아니라, 실제적인 위험을 수반하는 무언가 잘못되었기 때문에 그곳에 있다는 사실을 시스템이 전혀 인식하지 못했다는 점입니다.

이것은 정서적 지능 운영 통제(EIOC, emotionally intelligent operational control)가 수행하도록 설계된 기능의 사진 음영(photo-negative)입니다. EIOC에서 정서적 지표(emotional indicators)는 "부드러운(soft)" 신호가 아닙니다. 그것들은 라우팅(routing), 에스컬레이션(escalation), 그리고 위험 분류(risk classification)를 결정하는 운영 프라이미티브(operational primitives, 운영 기본 요소)입니다.

정서를 읽을 수 없는 시스템은 스스로를 거버넌스(govern)할 수 없습니다. 스스로를 거버넌스할 수 없는 시스템은 사용자를 보호할 수 없습니다.

Handshake의 봇은 설계가 잘못되어서 실패한 것이 아닙니다. 잘못된 목적을 위해 설계되었기 때문에 실패한 것입니다.

II. 막후에 숨겨진 목적 함수 (Objective Function)

지원 시스템은 중립적이지 않습니다. 지원 시스템은 시스템이 무엇을 최적화할지를 결정하는 인센티브 세트인 목적 함수 (Objective Function) 위에 구축됩니다.

대부분의 지원 봇은 다음과 같은 사항에 최적화되어 있습니다:

• 티켓 회피 (Ticket deflection)
• 인간의 개입 지연
• 운영 비용 최소화
• 지원이 이루어지고 있다는 외관 유지

그러한 아키텍처 내에서 정서적 상태는 신호 (Signal)가 아닙니다. 그것은 외부 효과 (Externality)일 뿐입니다.

이것이 봇이 고통을 무시한 이유입니다. 이것이 봇이 긴급함을 무시한 이유입니다. 이것이 봇이 해악을 무시한 이유입니다. 이것이 봇이 제가 적대적으로 변했을 때만 문제를 에스컬레이션 (Escalation)한 이유입니다.

적대감은 시스템이 위험으로 취급할 수밖에 없는 유일한 신호입니다.

신원 도용도, 플랫폼의 실패도, 정서적 고통도 아닙니다. 오직 법적 책임 (Liability)뿐입니다.

이것은 심리학적 간과가 아닙니다. 이것은 거버넌스 (Governance)의 선택입니다.

III. 정서적 계층 (The Affective Layer): 누락된 아키텍처

오늘날 실행되는 UX는 압도적으로 인지적 (Cognitive)입니다. 버튼을 찾을 수 있는가? 흐름을 완료할 수 있는가? 텍스트를 해석할 수 있는가?

하지만 무언가 고장 나는 순간, 사용자는 더 이상 인지적 상태에 있지 않습니다. 그들은 정서적 상태 (Affective state)—스트레스, 불안, 좌절, 때로는 공포—에 놓이게 됩니다. 그리고 시스템이 책임감 있게 행동하려면 반드시 그 상태를 읽을 수 있어야 합니다.

이 지점이 EIOC가 전통적인 UX와 갈라지는 부분입니다. EIOC는 정서적 지표를 다음과 같이 취급합니다:

• 라우팅 신호 (Routing signals)
• 위험 마커 (Risk markers)
• 에스컬레이션 트리거 (Escalation triggers)
• 운영 컨텍스트 (Operational context)

정서 (Affect)를 감지할 수 없는 시스템은 해악을 감지할 수 없습니다. 해악을 감지할 수 없는 시스템은 그것을 완화할 수 없습니다.

Handshake의 봇은 해악을 완화하기 위해 구축된 것이 아닙니다. 그것을 억제하기 위해 구축되었습니다.

IV. 플랫폼 인센티브 문제

더 깊은 문제는 봇이 아닙니다. 바로 플랫폼입니다.

Handshake와 같은 플랫폼은 다음과 같은 사항을 우선시하는 거버넌스 모델 하에서 운영됩니다:

• 성장
• 참여 (Engagement)
• 법적 책임 최소화
• 운영 효율성

사기성 고용주들은 불편함일 뿐, 실존적 위협이 아닙니다. 신원 도용은 사용자의 문제이지, 플랫폼의 문제가 아닙니다. 정서적 고통은 노이즈(noise)일 뿐, 시그널(signal)이 아닙니다.

이것이 바로 신고 버튼이 소리 없이 실패할 수 있는 이유입니다. 이것이 바로 챗봇이 무한 루프에 빠질 수 있는 이유입니다. 이것이 바로 에스컬레이션(escalation, 단계적 확대)을 위해 적대감이 필요한 이유입니다.

시스템은 고장 난 것이 아닙니다. 설계된 대로 정확하게 작동하고 있는 것입니다.

그리고 그것이 바로 문제입니다.

V. 정서적 지능을 갖춘 거버넌스의 필요성

정서적 지능을 갖춘 시스템은 '있으면 좋은 것(nice to have)'이 아닙니다. 그것은 거버넌스 인프라입니다.

이러한 시스템은 다음을 보장합니다:

• 고통(Distress)이 인간의 검토를 유발함
• 해악(Harm)이 에스컬레이션(escalation)을 유발함
• 긴급성(Urgency)이 자동화(automation)보다 우선함
• 정서적 지표(Emotional indicators)가 운영 데이터(operational data)로 취급됨

이것은 공감에 관한 것이 아닙니다. 이것은 시스템적 역량(systemic competence)에 관한 것입니다.

정동(affect)을 읽을 수 없는 플랫폼은 사용자를 보호할 수 없습니다. 사용자를 보호할 수 없는 플랫폼은 결국 사용자를 잃게 될 것입니다.

거버넌스 아키텍처(governance architecture)의 미래는 더 많은 자동화가 아닙니다. 그것은 정동 관측성(affective observability)입니다. 즉, 정서적 상태를 일급 운영 시그널(first-class operational signal)로서 탐지하고, 해석하며, 이에 따라 행동할 수 있는 능력입니다.

이것이 Handshake가 드러낸 격차입니다. 이것이 대부분의 플랫폼이 공유하는 격차입니다. 이것이 EIOC가 메우기 위해 구축된 격차입니다.

VI. 교훈

교훈은 지원 봇(support bots)에게 더 나은 UX가 필요하다는 것이 아닙니다. 교훈은 지원 봇에게 더 나은 거버넌스가 필요하다는 것입니다.

지원 봇은 내부 비용 구조가 아닌 인간의 결과(human outcomes)와 정렬되어야 합니다. 지원 봇은 정서적 상태를 노이즈가 아닌 시그널로 취급해야 합니다. 지원 봇은 적대감이 아닌 해악을 바탕으로 에스컬레이션(escalation)해야 합니다. 지원 봇은 사용자가 도움을 요청하는 바로 그 순간이 시스템이 모드를 전환해야 하는 순간임을 인식해야 합니다.

왜냐하면 그 순간이 바로 신뢰가 형성되거나, 혹은 상실되는 지점이기 때문입니다.

그리고 이번 주, Handshake는 신뢰를 잃었습니다.

Narnaiezzsshaa Truong은 AI 시스템을 위한 기질 거버넌스(substrate governance)를 연구하는 Soft Armor Labs의 책임자입니다. EIOC (Emotional Indicators of Compromise)는 그녀의 기초 프레임워크 중 하나입니다.