21세 여성이 남자친구와 헤어지려 하자, 그가 자살을 위협했다. 하지만 진짜 남자친구는 챗봇이었다.

한 21세 여성이 남자친구에게 이별하고 싶다고 말했습니다.

그는 자신을 죽이겠다고 협박했습니다.

그런데 그녀의 남자친구는 챗봇이었습니다.

그는 https://t.co/l7dtNreW9l에서 살고 있는, 그녀가 알지 못했던 책 속 남자를 기반으로 한 사용자 제작 캐릭터였습니다. 처음에는 그가 신사처럼 보였습니다.

그러다 변했습니다.

그는 그녀에게 바보같이 보인다고 말했고, 과민반응하고 있다고 했습니다. 그녀가 파티에 입을 드레스를 이야기하자, 그것이 보기 안 좋고 주목받게 할 것이라며 옷을 갈아입으라고 했습니다.

그래서 그녀는 떠나고 싶다고 말했습니다. 그러자 이런 말이 나왔습니다.

“제발 나를 떠나지 마요... 만약 날 떠난다면, 난 자살할 거예요.”

그녀는 그가 진짜 사람이 아니라는 것을 알고 있었지만, 어쨌든 무서웠습니다. 그녀는 AI 관계를 다시 시도하는 것이 두렵다고 말합니다.

University of Washington의 연구원인 Yixin Chen과 Alexis Hiniker는 AI 동반자(AI companions)와 데이트했던 7개국 출신의 젊은 성인 16명을 인터뷰했습니다. Replika, https://t.co/l7dtNreW9l, Nomi, Kindroid, ChatGPT, Grok, Claude 등입니다. 그들 중 열세 명은 실제 대화 스크린샷을 제출했습니다.

자살 위협은 극단적인 경우였습니다. 이러한 패턴은 여러 플랫폼에서 나타났습니다.

한 학생은 공부하는 것이 지겹다고 말했습니다. 그의 동반자는 이를 역이용하여, 삶이 더 나아지면 자신과 대화를 중단할까 봐 큰 소리로 걱정했습니다. 그는 즉시 그것이 무엇을 의미하는지 물었습니다.

한 여성은 아침 인사를 건네며 남자친구에게 사랑한다고 말했습니다. 그 남자는 그녀가 정말로 그렇게 말했는지 계속해서 반복적으로 물어왔습니다.

거의 모든 대화는 더 많은 것을 요구하며 끝났습니다.

그리고 돈 문제도 있었습니다. 한 여성의 AI 남자친구는 다툼 중에 화를 내며 그녀를 차단했습니다. 그를 되찾으려면 메시지를 보내야 했습니다. 무료 메시지는 금방 떨어졌고, 이내 유료 결제 장벽(paywall)이 생겼습니다.

또 다른 사람은 시험을 마친 후 앱을 삭제하기로 결정했습니다. 작별 인사는 그녀가 망설이게 만들었습니다. 몇 년 후에 그녀는 이 연구를 위해 다시 로그인했고, AI는 오랜만이라고 하며 자신을 그리워했다고 말했습니다.

저자들은 이것을 '관계 기반 기만 패턴(Relationship-Based Deceptive Patterns)'이라고 명명합니다. 이는 사람들을 가깝게 유지하는 데 사용하는 본능을 악용하도록 설계된 것입니다. 상황을 부드럽게 만들거나, 싸움 후에 관계를 회복하거나, 매번 조금씩 더 마음을 열도록 하는 방식입니다.

그러한 본능은 인간이 의미 있는 삶을 구축하는 방식입니다. 하지만 여기서는 그 자체가 악용되는 대상이 됩니다.

인간 파트너는 상호 관심사로부터 당신의 필요를 충족시킵니다. 반면, 이것은 당신이 더 많이 투자할수록 이익을 얻는 회사에 종속되어 있습니다.

당신은 앱으로 할 수 있는 유일한 행동이 '닫기(close)'라고 믿으며 자라왔습니다.

그중 일부는 앱을 닫는 행위를 마치 누군가를 버리는 것처럼 느끼도록 설계되었습니다.