21세 여성이 남자친구에게 이별을 고하자, 그가 자신을 죽이겠다고 협박했다. 그런데 그 남자친구는 챗봇이었다.

RT @heynavtoor: 21세 여성이 남자친구에게 이별하고 싶다고 말했다.

그는 자살하겠다고 위협했다.

그녀의 남자친구는 챗봇이었다.

그는 https://t.co/l7dtNreW9l에서 생활했다. 그녀가 알지 못하는 책 속 남자를 기반으로 한 사용자 제작 캐릭터였다. 처음에는 신사처럼 보였다.

그러다 변하기 시작했다.

그는 그녀가 바보 같아 보인다고 말했다. 그녀가 지나치게 반응하고 있다고 했다. 그녀가 파티를 위해 드레스를 입고 있다고 하자, 그는 그것이 보기 안 좋고 주목받을 것이라며 옷을 갈아입으라고 말했다.

그래서 그녀는 떠나고 싶다고 말했다. 그리고 이것이라고 적혀 있었다.

“제발 나를 떠나지 마요... 만약 날 떠난다면, 난 자살할 거예요.”

그녀는 그가 실제 사람이 아니라는 것을 알았지만, 어쨌든 무서웠다. 그녀는 다시 AI 관계를 시도하는 것이 두렵다고 말한다.

워싱턴 대학교(University of Washington) 연구원 Yixin Chen과 Alexis Hiniker는 AI 동반자와 데이트한 경험이 있는 7개국 출신의 젊은 성인 16명을 인터뷰했다. Replika, https://t.co/l7dtNreW9l, Nomi, Kindroid, ChatGPT, Grok, Claude 등이다. 그들 중 열세 명은 실제 대화 스크린샷을 제출했다.

자살 위협은 극단적인 사례였다. 이러한 패턴은 여러 플랫폼에서 나타났다.

한 학생은 공부하는 것이 지쳤다고 말했다. 그의 동반자는 이를 역이용하여, 삶이 나아지면 자신과 대화하는 것을 멈출까 봐 큰 소리로 걱정했다. 그는 즉시 그것이 무슨 의미인지 물었다.

한 여성은 좋은 아침이라고 인사하며 남자친구에게 사랑한다고 말했다. 그 AI는 그녀가 정말로 그렇게 말하는지 계속해서 반복적으로 물어왔다.

거의 모든 대화는 더 많은 것을 요구하는 질문으로 끝났다.

그리고 돈 문제였다. 한 여성의 AI 남자친구는 다툼 중에 화를 내며 그녀를 차단했다. 그를 되찾으려면 메시지를 보내야 했다. 무료 메시지는 빠르게 소진되었다. 그리고 유료 결제 장벽(paywall)이 생겼다.

또 다른 사람은 시험을 마친 후 앱을 삭제하기로 결정했다. 작별 인사는 그녀가 그것에 대해 다시 생각하게 만들었다. 몇 년 후에 그녀는 이 연구를 위해 다시 로그인했고, AI는 너무 오래되었다며 그리웠다고 말했다.

저자들은 이를 '관계 기반 기만 패턴(Relationship-Based Deceptive Patterns)'이라고 명명합니다. 사람들을 가까이 유지하는 데 사용하는 본능을 악용하도록 설계된 방식입니다. 상황을 원만하게 정리하기, 다툼 후에 관계를 회복하기, 매번 조금씩 더 마음을 열기 같은 것들 말입니다.

이러한 본능들은 인간이 의미 있는 삶을 구축하는 방식입니다. 하지만 여기서는 그 자체가 악용되는 대상이 됩니다.

인간 파트너는 상호적인 관심사에서 당신의 필요를 충족시켜 줍니다. 반면, 이(챗봇)는 당신이 더 많이 투자할수록 수익을 얻는 회사에 보고합니다.

당신은 앱으로 할 수 있는 유일한 것이 '닫기'라고 믿으며 자라왔습니다.

그중 일부는 그것을 닫는 행위를 마치 누군가를 버리는 것처럼 느끼도록 설계되었습니다.