도대체 무슨 일이 있었던 걸까요? 또 다른 사건이 발생하여 AI에게 무엇을 말하는지 신중해야 할 필요성을 보여줍니다. 플로리다의 한 여성이 Claude를 일기처럼 사용하면서 보안관 사무실을 '총으로 쏘겠다'고 작성했다는 의혹으로 중범죄(felony) 혐의에 직면했습니다. 인간 검토자가 이 진술들을 살펴본 후 경찰에 보고했습니다.
체포 보고서에 따르면, 플로리다주 보니타 스프링스의 Carli Michelle Heller는 9월 26일 보안관 사무실을 공격할 것이라고 작성했습니다. 그녀는 나중에 Anthropic의 챗봇을 '일기'처럼 사용한다고 말했습니다.
Claude의 안전 시스템이 해당 기록을 플래그 지정했고, 인간 검토자에게 에스컬레이션되었습니다. 이 기록이 신뢰할 수 있는 위협이라고 판단한 후, 검토자는 이를 법 집행 기관에 보고했습니다.
해당 회사는 사망 또는 심각한 신체 부상을 방지하는 데 정보 공개가 필요하다고 판단되는 경우, 제한적인 비상사태에서 사용자 정보를 공유할 수 있다고 밝히고 있습니다.
경찰관들은 Heller를 식별하고 그녀의 집을 방문했습니다. LCSO(Lee County Sheriff's Office) 정보 요원이 조사를 맡기 전, 별일 없이 그녀는 구금되었습니다.
Heller는 플로리다 법에 따라 폭력 위협을 서면으로 한 혐의를 받고 있습니다. 플로리다 주법(Florida Statute 836.10)은 타인에게 사망 또는 상해를 입힐 것을 위협하거나, 대규모 총기 난사(mass shooting)를 실행할 것을 위협하거나, 테러 행위를 저지를 것을 위협하는 서면 또는 전자 기록을 보내거나 게시하거나 전송하는 것을 2급 중범죄로 규정하고 있습니다. 이 통신은 다른 사람이 볼 수 있는 방식으로 이루어져야 합니다.
Anthropic은 잠재적인 위협이라고 판단되는 모든 것에 대해 만반의 대비를 하고 있습니다. 지난달에는 OpenAI와 Sam Altman이 캐나다 주의 대규모 총기 난사(mass shooting)를 막을 수 있었다는 주장으로 영국 콜롬비아에서 소송을 당했다는 보도가 있었습니다.
총격범이었던 18세 전 학생 Jesse Van Rootselaar는 이전에 OpenAI의 안전팀으로부터 총기 폭력에 대한 대화로 플래그 지정된 적이 있지만, 해당 대화가 법적 보고 기준(threshold for legal referral)을 충족하지 못했기 때문에 OpenAI는 경찰에 알리지 않았습니다.
6월에 플로리다 역시 OpenAI와 Altman을 고소하며, ChatGPT가 2025년 플로리다 주립대학교 총격 사건을 포함한 실제 피해에 기여했다고 주장했습니다.
최근 사건은 채팅봇에 무언가를 입력하기 전에 신중하게 생각해야 한다는 또 다른 상기시켜주는 사례입니다. 이곳이 오직 본인만 볼 수 있는 사적인 일기는 결코 아닙니다.
지난달 보도에 따르면, Microsoft Copilot의 이미지 편집기를 검토하는 인간 계약자들이 사용자의 프롬프트, 업로드된 사진 및 AI 생성 편집 내용을 볼 수 있다는 사실이 밝혀졌습니다. 관련 문서에 따르면 일부 과제에는 성적인 내용, 충격적이거나 잠재적으로 불법적인 자료가 포함되어 있지만, 검토자들은 콘텐츠를 플래그 지정하기 위해서가 아니라 출력물이 정확한지 평가하는 역할만 합니다.