AI 감시와 사회적 진보

가까운 미래에 AI 기반 감시 시스템은 우리가 공공장소에서 하는 모든 행동과 사적인 영역에서 하는 많은 행동을 추적할 수 있게 될 것입니다. 그리고 만약 우리가 잘못된 행동을 한다면—물건을 훔치거나, 쓰레기를 버리거나, 무단횡단을 하는 등 무엇이든—시스템은 이를 인지하고, 기록하며, 당신의 공식 정부 기록과 연결하고, 그 사실을 당신에게 알리며, 관련 당국에 실시간 경고를 제공할 것입니다… 그리고 어쩌면 일반 대중에게도 알릴 수 있습니다.

이러한 시스템을 스테로이드를 맞은 자동 과속 단속 카메라라고 생각하십시오. 다만 이들은 속도 제한뿐만 아니라 당신이 상상할 수 있는 그 어떤 규칙도 집행할 것입니다. 그리고 몇 주 뒤에 우편으로 고지서를 받는 것이 아니라, 위반 즉시 통보를 받고 벌금을 부과받게 될 것입니다.

이 시스템들은 강력한 AI, 실시간 안면 인식 기술(Facial Recognition Technology) 및 디지털 추적을 통한 공공 및 민간 감시, 대규모 데이터베이스, 그리고 고도로 개인화된 집행을 결합할 것입니다. 만약 대규모로 배치된다면, 이들은 개인의 자유뿐만 아니라 민주주의와 사회적 진보 그 자체에 심각한 위축 효과(Chilling Effects)를 미칠 것입니다.

중국은 수년 동안 감시 인프라를 구축해 왔습니다. 이 나라는 6억 대 이상의 감시 카메라를 보유하고 있으며, 법적·사회적 규칙을 집행하기 위해 점점 더 AI와 안면 인식을 활용하고 있습니다. 직장을 잃고 일련의 대출금을 상환하지 못해 시스템에 의해 블랙리스트에 오른 중국 시민 라오 두안(Lao Duan)의 사례를 보십시오. 그가 베이징을 방문했을 때, 도시의 AI 감시 시스템은 주요 교차로에서 그의 얼굴을 식별했고, 근처의 대형 전자 광고판에 그의 얼굴, 이름, 시민 ID 번호와 함께 그가 신뢰할 수 없는 사람이라는 메시지를 표시했습니다. 유사한 시스템들이 현재 중국 전역에 배치되고 있으며, 중국의 악명 높은 온라인 모니터링, 검열 및 사회 신용 시스템(Social Credit Systems)과 통합되고 있습니다.

AI 감시 (AI surveillance)는 이제 북미, 남미, 유럽, 아시아 및 아프리카에서도 실험되고 있습니다. 새로운 보고서에 따르면, 미국 국토안보부 (US Department of Homeland Security)는 이민자, 반체제 인사, 언론인, 법률 참관인 및 시위대들을 감시하기 위해 안면 인식 (facial recognition) 및 소셜 미디어 계정 모니터링을 포함한 AI 기반 감시의 사용을 급격히 늘리고 있습니다. 이러한 시스템들은 표면적으로는 보안과 공공 안전을 유지하기 위해 사용되지만, 실제 목적은 종종 사회적 통제 (social control)에 있습니다. 트럼프 행정부와 긴밀히 협력하는 강력한 기술 거대 기업인 Oracle의 CEO 래리 엘리슨 (Larry Ellison)은 다음과 같이 말했습니다. “우리가 끊임없이 기록하고 보고하고 있기 때문에 시민들은 최선의 행동을 하게 될 것입니다.” 이러한 위축 효과 (chilling effects)를 유발하는 것이 바로 목적입니다.

AI 감시는 기술적 편향 (technical biases), 감사 불가능한 시스템 (unauditable systems), 그리고 차별을 조장하고 투명성, 책임성 및 법치주의를 훼손할 수 있는 경직된 자동화된 법 및 사회 규칙 집행과 같은 다양한 공공 정책 과제를 제기합니다. 그러나 우리는 가장 시급하고 장기적인 영향은 그것의 더 광범위한 위축 효과 (chilling effects)가 될 것이라고 믿습니다.

새로운 저서인 『위축 효과: 디지털 시대의 억압, 순응, 그리고 권력 (Chilling Effects: Repression, Conformity, and Power in the Digital Age)』에서 존 페니 (Jon Penney)는 감시, 기술, 그리고 권력이 어떻게 대규모로 행동에 영향을 미치기 위해 무기화될 수 있는지 설명합니다. 감시 (surveillance), 개인화 (personalization), 불확실성 (uncertainty), 그리고 권위 (authority)는 모두 위축 효과의 규모와 영향력을 증가시키는 핵심 메커니즘입니다. 이것들은 사람들이 자신의 말과 행동을 자기 검열 (self-censor)하게 만들고, 더 순응적이고 복종적으로 변하게 하여 결과적으로 관리와 통제를 더 쉽게 만듭니다. 그리고 이러한 효과는 가산적입니다. 더 많은 메커니즘이 채택될수록, 그리고 그 형태가 더 강력할수록, 위축 효과는 더욱 커집니다.

컴퓨터화 (Computerization)는 데이터 수집가들이 우리의 위치를 추적하고, 우리가 누구와 소통하는지에 대한 목록을 수집하며, 현금을 사용하지 않는 한 우리의 소비 습관을 모니터링할 수 있도록 오랫동안 허용해 왔습니다. 새로운 점은 이러한 각 메커니즘이 전례 없이 융합되어 지속적이고 끊임없이 작동한다는 것입니다. AI는 우리의 통신 내용을 감시하고, 우리의 행방과 활동에 관한 정교한 질문에 답할 수 있는 분석 능력을 가져다줍니다. 즉, 이전에는 인간 분석가가 필요했던 작업들이 이제는 자동화되었습니다. 그 결과, 공포, 자기 검열 (self-censorship), 그리고 집단 사고 (groupthink)가 지배하고, 이견 (dissent), 창의성, 그리고 혁신이 점점 더 희귀해지는 일종의 초강력한 사회적 수준의 위축 효과 (chilling effects)가 나타날 것입니다.

이러한 공포와 순응의 분위기 속에서, 위험한 아이디어, 사회적 행동주의 (social activism), 그리고 자기 재발명 (self-reinvention)—특히 소외된 집단과 표적이 된 인구 집단에 의한 것들— 또한 위축됩니다. 이는 사회적 진보에 장기적인 영향을 미칠 것입니다.

비교적 최근에 이루어진 동성 관계의 사회적 정상화와 마리화나의 오락적 사용을 생각해 보십시오. 수십 년에 걸쳐, 이러한 아이디어들은 부도덕하고 불법적인 상태에서, 도덕적이지만 여전히 불법적인 상태로, 그리고 마침내 도덕적이면서도 합법적인 상태로 서서히 발전했습니다. 하지만 이 중 어느 것이라도 일어나기 위해서는, 실험을 할 수 있고 결국 도덕성이 시간이 흐름에 따라 변할 수 있다는 것을 세상에 증명할 수 있는 대항 문화 (counterculture)가 있어야 했습니다. AI 감시가 공공연하게 혹은 사적으로 이러한 종류의 실험을 위축시키는 한, 사회적 진보는 불가능해집니다.

이에 대한 진정한 역사적 전례는 존재하지 않습니다. 이 기술들은 너무나 새롭기 때문입니다. 미국 역사상 가장 악명 높고 대규모였던 국내 감시 프로그램인 1950년대와 1960년대 FBI의 도청, 물리적 우편물 개봉, 정보원 활용 및 종이 색인 카드를 통한 공산주의자 추적조차 현대의 AI 강화 감시(AI-enhanced surveillance)에 비하면 진정으로 구식처럼 보입니다. 냉전 시대 동독의 인간 중심적 감시 네트워크도 마찬가지입니다. 조지 오웰(George Orwell)이나 올더스 헉슬리(Aldous Huxley) 같은 작가들의 공상 과학 소설만이 그나마 비슷할 것입니다. 하지만 그 '빅 브라더(Big Brother)'의 '텔레스크린(telescreen)'조차 이에 비하면 확실히 20세기 중반의 느낌을 줍니다.

하지만 우리가 수수방관할 필요는 없습니다. AI 강화 대중 감시(mass surveillance)의 위험성을 이제 인식했으므로, 우리는 이를 시행하지 않기로 하는 정책적 선택을 할 수 있습니다. 안면 인식(facial recognition) 및 기타 형태의 식별 기술에 대한 금지는 개발 속도를 늦출 수 있으며, 강력하고 새로운 개인정보 보호 및 데이터 보호 조치는 데이터 추적과 보유를 제한할 수 있습니다. AI 규제는 가장 침해적인 사용을 억제할 수 있고, 구조적 개혁은 AI 감시와 같은 기술적 과잉의 길을 닦는 강력한 국가/기술 카르텔(state/tech cartels)을 조사하고 해체하는 데 도움을 줄 수 있습니다.

AI 기반 대중 감시의 냉기는 건강한 민주주의 사회의 토대 자체를 질식시킬 것입니다. 하지만 우리는 여전히 다른 길을 선택할 수 있습니다.

이 에세이는 Jon Penney와 함께 작성되었으며, 원래 The Guardian에 게재되었습니다.