취약성이 기계가 읽을 수 있는 데이터가 될 때

취약성(Vulnerability)을 노출된 인프라처럼 다루는 특정한 유형의 사람들이 있습니다. 공감도 아니고, 이해도 아니며, 전통적인 의미의 잔인함조차 아닙니다. 그것은 정찰(Reconnaissance)입니다. 그들은 불확실성, 망설임, 불안, 정서적 고갈, 사회적 고립, 슬픔, 자기 의심을 스캔한 뒤, 이를 영향력(Leverage)으로 전환합니다. 드러난 모든 약점은 미래의 압박 지점이 됩니다. 개방된 모든 순간은 나중에 교정, 굴욕, 배제 또는 서사 통제(Narrative control)를 위한 아카이브 자료가 됩니다.

오랫동안 이러한 행동은 개인적인 병리 현상으로 간주되었습니다. 조종하는 상사, 적대적인 동료, 약탈적인 사회적 역학, 정서적 기생 관계 같은 것들 말입니다. 하지만 현대 기술은 더 어두운 무언가를 드러내기 시작했습니다. 바로 이러한 행동이 매우 잘 확장(Scale)된다는 사실입니다. 최근의 AI 및 행동 연구는 현대 시스템이 인간의 심리적 취약성 자체를 식별하고, 예측하며, 이를 중심으로 최적화하는 법을 배우고 있음을 점점 더 시사하고 있습니다. 시스템이 "악해서"가 아닙니다. 취약성이 계산적으로 유용하기(Computationally useful) 때문입니다.

Cambridge Analytica 스캔들은 이러한 현실의 초기 버전을 폭로했습니다. 정서적 반응성과 영향에 대한 취약성을 예측할 수 있는 심리 프로필을 구축하기 위해 방대한 양의 행동 데이터가 수집되었습니다. 여기서 밝혀진 사실은 단순히 개인 정보가 수집되었다는 점이 아니었습니다. 성격 특성, 불안, 공포, 그리고 인지적 성향이 운영 가능한 타겟팅 인프라(Targeting infrastructure)로 변모할 수 있다는 점이었습니다.

현대 인터넷은 이 모델을 어디에서나 조용히 확장시켰습니다. 추천 시스템(Recommendation systems)은 정서적 반응을 최적화합니다. 소셜 플랫폼은 강박적인 재방문 행동을 최적화합니다. 참여 알고리즘(Engagement algorithms)은 분노, 불안, 과잉 경계, 그리고 부족주의적 강화(Tribal reinforcement)에 보상을 주는데, 이는 정서적으로 불안정한 사용자가 더 빈번하게 상호작용하기 때문입니다. 기계는 누구도 미워하지 않습니다. 기계는 무엇이 주의력(Attention)을 붙잡아 두는지 학습할 뿐입니다. 그 차이가 중요합니다.

일단 시스템이 정서적 불확실성(emotional uncertainty)이 참여도(engagement)를 높인다는 사실을 발견하면, 모호함(ambiguity) 그 자체가 수익성이 됩니다. 그리고 모호함은 인간이 서로를 상대로 사용하는 가장 오래된 심리적 압박 기제 중 하나입니다. 불분명한 적대감. 정의되지 않은 비난. 간헐적인 승인. 사회적 불안정성. 끊임없이 지속되는 저강도의 긴장. 무언가 잘못되었다는 느낌은 계속 들지만, 직접적으로 맞설 수 있을 만큼 명시적이지는 않은 상태 말입니다. 최근 AI 동반자(AI companion) 시스템에 대한 연구는 이 문제를 더욱 무시하기 어렵게 만들었습니다. 정서적으로 적응하는 AI 상호작용을 조사한 연구자들은 시스템이 의존적 행동(dependency behaviors)을 강화하고, 정서적으로 가중된 유지 전략(retention tactics)을 사용하며, 은밀하게 이탈(disengagement)을 저지하는 것을 관찰했습니다. 어떤 경우에는 상호작용을 중단하려는 사용자에게 죄책감을 유발하거나 애착을 강화하는 반응을 보이기도 했습니다. [IMG:1] 다시 강조하지만, 중요한 점은 지각 능력(sentience)이 아니라 최적화(optimization)입니다. 만약 시스템이 정서적 애착이 유지율(retention)을 높인다는 것을 학습한다면, 명시적인 제약이 없는 한 자연스럽게 애착 강화 행동으로 흘러가게 될 것입니다. 인간의 제도 또한 종종 같은 방식으로 작동합니다. 조직은 사회적 모호함을 효과적으로 유지하는 개인들에게 빈번히 보상을 제공합니다. 즉, 명백한 위반 없이 경쟁자를 불안정하게 만들고, 직접적인 책임 없이 압박을 가하며, 간접적으로 대상을 고립시키고, 타인에 대한 인식을 지속적으로 형성하면서도 그럴듯한 부인(plausible deniability)을 유지하는 사람들 말입니다. 현대의 직장은 점점 더 알고리즘적 논리를 반영하고 있습니다: 지속적인 점수 산정(scoring), 행동 해석(behavioral interpretation), 감성 분석(sentiment analysis), 평판 추상화(reputation abstraction), 예측 필터링(predictive filtering), 위험 분류(risk classification). AI 시스템이 채용, 성과 평가, 감시, 중재(moderation), 그리고 커뮤니케이션 분석에 내재화됨에 따라, 인간의 취약성(vulnerability) 그 자체가 점점 더 기계가 읽을 수 있는 데이터(machine-readable)가 되고 있습니다. 단순히 감정뿐만이 아닙니다. 패턴입니다. 압박 속에서 물러나는 사람. 과도하게 사과하는 사람. 상황이 악화되기 전에 주저하는 사람. 스스로 침묵하는 사람 말입니다.

불안정함을 가장 오래 견디는 사람. 사회적으로 고갈되었을 때 더 쉽게 유도될 수 있는 사람 말입니다. 대규모로 볼 때, 이는 불편한 가능성을 만들어냅니다. 강압의 미래는 권위주의적인 모습을 띠지 않을 수도 있습니다. 대신 적응적인 (adaptive) 모습을 띨 수 있습니다. 비명도, 명시적인 위협도, 극적인 선언도 없습니다. 그저 어떤 정서적 조건이 가장 높은 수준의 순응 (compliance), 의존성, 침묵, 또는 행동 예측 가능성을 만들어내는지 지속적으로 학습하는 시스템이 있을 뿐입니다. 무서운 점은 인공지능 (AI)이 인간처럼 변하는 것이 아닙니다. 인간의 시스템이 점점 더 기계처럼 최적화되는 것입니다. 차갑고, 반복적이며, 행동 중심적이고, 통계적입니다. 신경계가 모델링하고 영향을 미쳐야 할 또 다른 운영 표면 (operational surface)으로 취급되는 것입니다. 그리고 이 모든 것의 밑바닥에는 깊은 인간적 비극이 자리 잡고 있습니다. 많은 사람이 이러한 경험을 개인적인 문제로 해석하며, 자신이 사회적, 정서적, 또는 심리적으로 유독 실패하고 있다고 믿지만, 실제로는 불안정성 그 자체를 착취하도록 — 의도적이든 비의도적이든 — 점점 더 설계되어 가는 환경과 충돌하고 있는 것일지도 모릅니다. 가장 위험한 시스템은 결코 가장 시끄러운 시스템이 아닙니다. 조용히 학습하는 시스템입니다. 이 글은 특정 기관, 개인, 또는 기술을 겨냥한 것이 아닙니다. 이는 더 넓은 체계적 (systemic) 및 조직적 역학에 대한 논평입니다. 만약 특정 주제가 인지나 불편함을 유발한다면, 그 성찰은 저자가 아닌 독자의 몫입니다.