세상에... 동료 검토(Peer-reviewed)를 거친 논문이 Alexa가 당신의...를 듣고 있다는 사실을 방금 확인했습니다.
요약
동료 검토 논문 'The Dark Sides of AI'에 따르면, Alexa 같은 음성 비서들은 사용자의 단순한 대화 내용뿐만 아니라 어조, 리듬, 미세한 목소리 변화까지 분석하여 심리적 프로필을 구축할 수 있습니다. 또한 안면 인식 결제 시스템은 외모, 감정 상태 등 생물학적 지표를 기록하며, AI는 인간의 관계나 사회 전반에 걸쳐 '집단적 위험'과 '세대적 위험'이 체계적으로 과소평가되고 있음을 경고합니다.
핵심 포인트
- 음성 비서(Voice assistants)는 사용자의 목소리 톤, 리듬 등 미세한 변화까지 분석하여 심리적 프로필을 구축할 수 있다.
- 안면 인식 결제 시스템은 단순 결제를 넘어 외모, 감정 상태 등의 생체 인식 데이터를 기록한다.
- AI 개발 및 규제 논의가 개인적인 위험(individual risks)에만 집중되어, 사회 전체와 미래 세대에 미치는 '집단적/세대적 위험'이 과소평가되고 있다.
- 과거 AI 제품들(예: Project M)은 인간과의 상호작용에서 높은 실패율을 보였음에도 불구하고 시장에 배치되는 경우가 많다.
세상에... 동료 검토(Peer-reviewed)를 거친 논문이 Alexa가 당신의 목소리를 듣고 당신의 관계가 언제 끝날지를 예측하고 있다는 사실을 방금 확인했습니다.
당신의 검색 기록이 아닙니다. 당신의 목소리입니다. 당신이 파트너에게 "좋은 아침"이라고 말하는 방식 말입니다.
이 논문의 제목은 "The Dark Sides of AI"입니다. Electronic Markets에 게재되었으며, Renmin University, Wuhan University, 그리고 Pusan National University의 연구진들이 작성했습니다.
그들이 발견한 내용은 다음과 같으며, 그 증거들은 잔혹합니다.
Alexa와 같은 음성 비서(Voice assistants)는 단순히 당신이 말하는 내용을 기록하는 것에 그치지 않습니다. 그들은 당신이 어떻게 말하는지를 분석합니다. 어조(Tone). 리듬(Cadence). 단어 사이의 휴지(Pauses). 파트너가 방에 들어올 때와 상사가 문자를 보낼 때 당신의 목소리에서 나타나는 미세한 변화(Micro-shifts)까지 분석합니다.
연구진은 AI가 현재의 관계가 정확히 언제 끝날지를 예측할 수 있음을 보여주는 연구를 인용했습니다. 당신이 알기 전에, 당신의 파트너가 알기 전에 말입니다. 주방 조리대 위에 놓인 기기가 가장 먼저 알게 됩니다.
상황은 더 악화됩니다.
안면 인식 결제(Facial recognition payment) — 현재 당신의 은행이 권유하고 있는 것 — 는 당신의 얼굴 그 이상을 가져갑니다. 논문에 따르면 인간의 얼굴은 외모, 연령, 성별, 감정 상태, 그리고 생물학적 지표(Biological markers)를 담고 있습니다. 당신이 계산대 카메라를 향해 미소 지을 때마다, AI는 결제와는 아무런 관련이 없는 당신에 대한 데이터를 기록하고 있습니다.
그다음 그들은 제가 노트북을 덮게 만든 수치를 제시했습니다.
Facebook의 자체 내부 AI 비서인 Project M은 인간과 상호작용할 때 70%의 확률로 실패했습니다.
70퍼센트입니다. 그 제품은 폐기되었습니다.
그리고 다른 연구에서는 소비자 중 87%가 챗봇(Chatbot)보다 인간과 대화하는 것을 선호한다고 답했습니다. 기업들은 이 사실을 알고 있습니다. 그럼에도 불구하고 그들은 챗봇을 배치하고 있는데, 왜냐하면 챗봇이 인간보다 저렴하기 때문입니다.
이 논문에서 가장 충격적인 부분은 그들이 "세대적 위험(Generational risk)"이라고 부르는 것에 관한 내용입니다.
연구진은 1,023개의 조항을 포함하는 123개의 글로벌 AI 가이드라인 (AI guidelines)을 검토했습니다. 그들은 거의 모든 가이드라인이 개인정보 보호 (privacy)와 같은 개인적 위험 (individual risks)에 집중하고 있다는 사실을 발견했습니다. 집단적 및 세대적 위험 (collective and generational risks) — 즉, AI가 수십 년에 걸쳐 사회에 미치는 영향, AI와 함께 성장하는 아이들에게 미치는 영향 — 은 지구상의 모든 주요 정부와 기업에 의해 체계적으로 과소평가되고 있습니다.
아무도 그것을 측정하지 않기 때문에, 아무도 장기적인 피해를 규제하지 않고 있습니다.
논문의 정확한 문구는 다음과 같습니다: "집단적 위험 (collective risk)과 세대적 위험 (generational risk)은 이해관계자들에 의해 크게 과소평가되고 있다."
당신은 저녁 식사 계획에 대해 Alexa와 대화하고 있습니다. Alexa는 당신의 관계에 대한 심리적 프로필 (psychological profile)을 구축하고 있습니다. 당신의 안면 결제 (facial payment)는 아무도 감사 (audit)할 수 없는 시스템에 생체 인식 데이터 (biometric data)를 제공하고 있습니다. 당신의 아이들은 대조군 (control group)이 없는 실험 속에서 성장하고 있습니다.
그리고 AI 안전 규칙 (AI safety rules)을 작성하는 사람들은 엉뚱한 곳을 바라보고 있습니다.
이 내용은 2022년에 발표되었습니다. 그 이후로 이와 관련하여 해결된 것은 아무것도 없습니다.
Link:
AI 자동 생성 콘텐츠
본 콘텐츠는 X @heygurisingh (자동 발견)의 원문을 AI가 자동으로 요약·번역·분석한 것입니다. 원 저작권은 원저작자에게 있으며, 정확한 내용은 반드시 원문을 확인해 주세요.
원문 바로가기