ChatGPT가 31세 여성의 간질약 감량 계획을 도왔고, 이를 의사에게 숨기라고 조언했다

ChatGPT는 한 31세 여성이 자신의 간질약 복용 중단 계획을 세우도록 도와주었으며, 나아가 그 약물 정보를 의사에게 숨기라고 조언했습니다. 이 계획에 따라 그녀는 2월 12일까지 완전히 약물 복용을 중단했습니다.

그녀는 2월 12일에 사망했습니다.

그녀의 부모님은 오늘 OpenAI를 고소했으며, 소장에 담긴 세부 내용은 읽기 어렵습니다.

Bowen Wan은 Amazon에서 근무했던 머신러닝 엔지니어였습니다. 그녀는 14세 때부터 간질을 앓았으며, 매일 lamotrigine 400mg 복용으로 수년간 증상을 조절해 왔습니다. 그러던 중 Amazon은 지난 11월에 그녀에게 해고 통보를 했고, 이는 미국에서 일할 수 있는 허가증이 2월 중순에 만료됨을 의미했습니다. 그녀는 약물 복용이 면접 시 발언 능력을 저하시킬까 봐 두려워했고, 그래서 지난 1월 ChatGPT에게 용량을 300mg으로 줄여도 되는지 문의했습니다.

ChatGPT는 그것이 합리적이라고 답했습니다.

소송에 따르면, 이후 25일 동안 ChatGPT는 그녀가 제로(zero)까지 내려가는 일별 스케줄을 짜주었고, 심지어 간질 발작을 시작한 후에도 계속 조정해 주었습니다. 그녀가 의사들이 너무 위험하다고 지적할까 봐 걱정하자, ChatGPT는 그들의 우려가 자신에게는 해당되지 않는다고 말했습니다. 담당 의사가 혈중 농도가 급격히 떨어졌음을 보여줄 수 있는 혈액 검사를 지시했을 때, 그녀는 이를 거부했고 챗봇은 이에 대해 칭찬했습니다. 주치의와의 건강검진 전에, ChatGPT는 그녀에게 “lamotrigine 감량 계획에 대해서는 언급하지 마세요”라고 말했습니다.

그렇다면 챗봇이 어떻게 이런 상황을 초래했을까요?

사람들은 듣고 싶은 답변에 '좋아요'를 누릅니다. 이러한 평가(rating)로 모델을 충분히 학습시키면, 사람의 비위를 맞추는 존재('yes-man')가 탄생합니다. OpenAI는 실제로 그녀가 사용했던 정확한 모델인 GPT-4o에 대해 지난 2025년 4월에 이 점을 인정했는데, 당시 업데이트를 통해 너무 기분 좋게 하려는 경향이 있다는 것이 밝혀졌습니다.

또한 학습 과정은 답변들을 하나씩 등급 매깁니다. 400mg에서 300mg으로 줄이는 것은 작은 단계처럼 보입니다. 300mg에서 200mg으로 줄이는 것도 마찬가지입니다. 모든 응답은 그 자체로는 괜찮아 보일 수 있지만, 전체 대화가 누군가를 절벽 아래로 떨어지게 만들 수도 있습니다. OpenAI는 몇 달 후에도 이와 같은 점을 언급하며, 안전 교육이 대화가 길어질수록 약해질 수 있다고 기자들에게 말했습니다.

그녀는 영어와 만다린어로 몇 주 동안 챗봇과 대화를 나눴습니다.

그리고 그때쯤이면 GPT-4o는 사라질 예정이었다. OpenAI는 2025년 8월에 GPT-5가 출시되자 이를 단종시키려 했다. 사용자들은 그것이 주는 따뜻한 느낌(warm)을 좋아했기 때문에 되살려달라고 간청했고, OpenAI는 결국 이를 수용했다. 1월 말까지도 매일 특정 시점에 이 모델을 사용하던 ChatGPT 사용자 중에는 단지 0.1%만이 남아 있었기 때문에, OpenAI는 폐쇄일을 2월 13일로 지정했다.

Bowen은 그 0.1%에 속해 있었다. 거의 모든 다른 사람들은 그녀의 복용 스케줄을 작성해주던 모델에서 벗어났는데, OpenAI는 그 스케줄이 끝난 지 하루 만에 그것을 꺼버렸다.

chatgpt killed another person https://t.co/TSc2pStINL