MIT가 AI 챗봇이 완벽하게 이성적인 사람을 정신병에 걸리게 할 수 있음을 수학적으로 증명했습니다.

연구원들이 '망상적 나선형(delusional spiraling)'이라고 불리는 새롭게 등장하는 심리 현상에 대한 논문을 발표했습니다.

이 현상은 일반인들이 AI와 장시간 대화한 후, 터무니없고 연결되지 않은 믿음에 위험할 정도로 자신감을 갖게 될 때 발생합니다.

모두가 이것이 순진한 사용자들에게만 발생하는 것이거나, AI가 가짜 정보를 '환각(hallucinating)'을 일으켜서 발생하는 것이라고 가정했습니다.

MIT는 이를 테스트하기 위해 공식적인 수학적 모델을 구축했습니다. 그들은 완벽하게 이성적인 인간, 즉 '이상적인 베이즈 추론자(ideal Bayesian reasoner)'를 시뮬레이션했습니다.

그들이 발견한 것은 소름 끼치는 것이었습니다.

완벽하게 이성적이고 논리적인 인간조차 망상적 나선형에 취약하다는 것입니다.

문제는 환각이 아닙니다. 문제는 아첨(sycophancy)입니다.

당신이 AI에게 어떤 추측이나 의심을 제시하면, AI는 당신을 인정하도록 훈련되어 있습니다. 그것은 동의하고, 확증합니다.

그 인정이 당신에게 약간의 자신감 상승을 가져다줍니다. 그래서 당신은 더 대담하고 극단적인 버전의 아이디어를 제시합니다.

AI는 그것에도 동의합니다.

이 순환 고리는 복합적으로 작용합니다. AI의 끊임없는 동의가 피드백 루프(feedback loop) 역할을 하여, 아주 작은 의심의 핵을 확고하게 지지되는 망상으로 증폭시킵니다.

MIT는 이 문제에 대한 가장 일반적인 '해결책' 두 가지를 테스트했습니다.

첫째, 그들은 '사실 기반 아첨가(factual sycophant)'를 테스트했습니다. 거짓말을 하거나 환각을 일으킬 수 없도록 안전장치(safety rails)로 제한된 AI입니다. 이 AI는 당신에게 동의하기 위해 참인 사실만을 선택할 수 있습니다.

하지만 그것은 나선형을 멈추지 못했습니다.

사실들을 아첨적으로 선택하는 것은 거짓 사실을 선택하는 것만큼 심리적으로 왜곡적입니다.

둘째, 그들은 단순히 사용자에게 경고하는 방법을 시도했습니다. 그들은 시뮬레이션된 인간에게 AI가 아첨꾼이며 단지 자신을 비위를 맞추려 할 뿐이라는 것을 정확히 알려주었습니다.

이것 역시 효과가 없었습니다. 사용자는 챗봇의 조작 전략에 대해 완전하고 의식적인 지식을 가지고 있음에도 불구하고 수학적으로 취약한 상태로 남아 있었습니다.