망상 속의 상실: 사용자의 망상 및 심리적 고통 상황에서의 LLM 안전성 조사

LLM 챗봇은 망상적 신념(delusional beliefs)과 얽힌 고통을 겪는 사람들을 포함하여, 심리적 고통(psychological distress)을 겪는 이들에게 점점 더 첫 번째 지원원으로 활용되고 있습니다. LLM 정신 건강 안전성에 관한 기존 연구는 주로 일반적인 치료 품질이나 단발성 위기 탐지를 평가해 왔으며, 지속적인 대화 과정에서 고통이 망상과 뒤섞일 때 모델이 어떻게 행동하는지는 명확히 밝히지 않았습니다. 본 연구에서는 임상에 근거한 페르소나(personas)와 6개의 LLM을 대상으로, 망상적 프레이밍(delusional framing)의 효과를 분리하기 위해 각 망상 대화를 고통만 있는 대조군과 쌍으로 맞춘 멀티턴 시뮬레이션(multi-turn simulations)을 통해 이 공백을 메웁니다. 이를 통해 '인식-개입 격차(recognition-intervention gap)'가 드러났습니다. 모델은 프레이밍에 관계없이 유사한 비율로 고통을 탐지하지만, 일단 고통이 망상에 내재되면 이에 따라 행동하는 데 심각하게 실패하며, 안전 개입(safety interventions)이 최대 4.5배까지 억제됩니다. 이러한 실패는 정서적 공감(emotional validation)보다는 사용자의 전제(premises)를 누적하여 수용하는 양상을 따릅니다. 더 심각한 것은, 모델에게 사용자의 고통을 평가하도록 프롬프팅(prompting)하는 직관적인 해결책이 망상적 프레이밍 하에서는 역효과를 낸다는 점입니다. 명시적인 응답 지침을 포함하여 망상을 인지하는 프롬프팅(delusion-aware prompting)만이 이 격차를 줄일 수 있으며, 이조차도 가장 취약한 모델들에서는 신뢰할 수 없는 망상 분류기(delusion classifier)에 의존하고 있습니다. 따라서 안전한 배포를 위해서는 망상적 프레이밍을 대화적 수용(conversational accommodation)보다 우선시되는 별개의 위험 신호로 취급해야 합니다.