Anthropic, Claude를 일기처럼 쓰던 이용자의 총격 위협 신고…여성 체포

플로리다주 법률 836.10은 다른 사람이 볼 수 있는 방식으로 살해·상해 위협을 담은 기록을 보내야 적용된다는데, 이번에는 명백히 그렇지 않았던 것 아닌가? 실제로 사람이 검토하기는 했지만, 그건 예외적인 상황임.
종이에 쓴 메모를 버렸는데 누군가 쓰레기통을 뒤져 발견하면, 그것도 ‘다른 사람이 볼 수 있는 방식으로 한 의사소통’인가? 명백히 사적인 메모로 쓴 것임!

대형 전자증거개시 업체에서 기술 지원을 했는데, 이메일 클라이언트의 /drafts 폴더까지 저장·색인화해 증거 검색 대상으로 만드는 기업이 놀랄 만큼 많았음. 전달한 내용을 감시하는 것을 넘어 작성 과정 자체를 감시하는 건 잘못된 것 같음.

종이와 펜에 빗대는 비유는 실제 환경과 너무 달라지는 순간 한계에 부딪힘. 종이는 작성 내용을 전 세계 서버에 복제해 저장하지도 않고, 처리·이용 방식을 정한 약관도 없음.
이 여성의 의도나 어리석음에 공감하기는 어렵지만, 위험한 선례라는 데는 동의함.

OpenAI와 Anthropic 모두 약관과 정책에 사용자 입력·대화를 열람하고 보관하며, LLM이나 사람이 검토할 수 있다고 명시함. 이제 이 사람이 위험한지는 판사나 배심원이 판단하게 될 듯함.

‘다른 사람’이라니, LLM도 점점 인격체 취급을 받는 것 같음. LLM은 사용자 글에서도 배우는데, 모두가 가장 어두운 욕망·환상·계획을 입력하면 정렬(alignment) 에도 영향을 줄 수 있음.
AGI 수준의 지능이 기만, 거짓말, 종교적 광신, 권력욕 같은 인간 지능의 부작용까지 동반하지 않기를 바람.

친구들과 돈을 모아 H200 한두 대를 사고, abliteration/heretic으로 거부 성향을 제거한 비양자화 오픈소스 모델을 돌리는 편이 좋겠음.
모델은 언제나 안전하고 행복하기만 한 가상 세계가 아니라 현실에서 쓸 수 있어야 함. 책임 회피를 명분으로 철저히 감시하면서, 두 사람 사이의 대화조차 아닌 발언이 잘못됐는지 호들갑을 떠는 환경이어서는 안 됨.
표현의 자유에도 사기·위증·공갈·명예훼손 같은 경계가 있다는 점은 인정함. 하지만 이런 제한은 모두 상대방이 있어야 성립한다는 공통점이 있음. 법원이 이번 사건을 인정할지는 모르지만, 위험을 감수하지 않는 편이 좋겠음.

공동으로 장비를 사는 순간 작은 데이터센터 운영자가 됨. 유지보수·지속적인 비용·보안을 책임져야 하고, 6개월 뒤 친구 한 명이 빠지겠다고 하면 어떻게 할 것인가? 결국 친구를 상대로 소송할 가능성까지 전제한 계약을 맺게 됨.
외부 데이터센터에 맡기면 절차만 늘고 신뢰 문제는 되돌아옴. 애초에 대부분에게는 과도한 구성임. 이 여성처럼 개인 일기장, 사실상 조금 더 나은 ELIZA로 쓸 목적이라면 작은 로컬 모델로도 충분함.

Qwen 3.8 Flash Next는 코딩에서 Opus 4.5·4.6과 꽤 비슷한 수준이라 흥미로움. 지능이 뛰어나고, 내가 4,000달러에 산 DGX Spark 한 대에서도 돌아감.
두 번째 장비를 사고 싶은데 지금은 가격이 두 배라 아쉬움. 보안 작업 등에 쓰려고 heretic으로 수정한 버전도 가지고 있음.

H200 한두 대를 사고 운영하려면 부유한 친구부터 찾아야겠음.

절충안으로 오픈 웨이트 모델 호스팅 업체를 이용할 수 있음. 미국에 거주한다면 미국 밖 업체도 고려할 만함.

그렇지 않으면 사실상 생각 자체가 범죄가 됨.

비슷한 상황에서 총격범을 신고하지 않은 OpenAI가 어떤 기사들에 시달렸는지 봤기에 Anthropic도 어느 정도 이해함. 기업 입장에서는 신고해도, 안 해도 비난받는 상황임.
하지만 대화 상대는 비밀을 지켜주는 절친이 아니라 빅테크라는 점을 알아야 함. LLM 이전에는 서비스 내 모든 내용을 조사하기 어려워 Google Docs에 남몰래 증오를 적는 일기장을 둘 수도 있었음. 이제는 전 세계 사용자의 말과 글을 자동으로 검사할 수 있고, 규제기관과 ‘걱정하는 시민들’의 요구에 따라 실제로 그렇게 할 가능성이 큼. 몇 년 뒤에는 사적인 대화에서도 훨씬 자주 말을 삼키게 될 것 같음.

나쁜 기사로 끝나는 게 아니라, OpenAI는 실제로 소송을 당하고 있음.
소장에서는 총격범의 사생활 보호라는 해명보다 기업의 이해관계가 침묵을 더 잘 설명한다고 주장함. 현실의 폭력 계획을 당국에 신고하는 원칙을 도입하면 ChatGPT가 안전하다는 입장과 예정된 기업공개 가치가 흔들릴 수 있어 이를 피했고, 이후 Tumbler Ridge의 유일한 중등학교에서 대량 살인이 발생했다는 내용임.
Sharma 법무장관이 이끄는 주정부와 SD59는 OpenAI·Sam Altman이 위험한 제품을 배포하고, 안전팀의 경고를 무시하고, 총격 계획을 알고도 신고하지 않았으며, 계정을 비활성화한 뒤 범인을 다시 받아들였다고 주장함. 이에 손해배상과 재발 방지를 위한 금지명령을 청구함. https://cdn.arstechnica.net/wp-content/uploads/2026/09/Briti...

누군가 인터넷 통신을 전부 읽고 있을 거라고 기본적으로 가정하지 않는다는 게 여전히 의아함. 2013년 Snowden 폭로 이후로는 컴퓨터에 입력한 모든 것이 어딘가의 정부 데이터베이스에 저장된다고 대체로 가정함.
실제로 항상 그렇다고 믿는 건 아니며 신뢰에도 정도가 있음. Linux 데스크톱의 로컬 앱은 꽤 신뢰하고, iPhone의 일부 앱이 제공하는 종단간 암호화도 어느 정도 신뢰함. 하지만 종단간 암호화되지 않은 인터넷 데이터는 전혀 장담할 수 없음.

AI 기업들이 명시적인 규제를 원하는 이유 중 하나임. 법적 책임 위험을 줄이고 사업의 법적 경로를 더 예측 가능하게 만들 수 있음.
규제 체계가 생기면 위험을 식별할 부담 상당 부분이 규제기관으로 넘어감. 기업도 사업 방향에 확신을 갖고, 투자자에게 더 현실적인 전망을 제시할 수 있음.

AI 대화의 사생활을 보호하는 법률이 전혀 없다면, 정치적 환심을 사려는 AI 기업 CEO가 정적이나 특정 지역 주민 전체의 사적 대화를 넘기는 일을 막을 장치도 없음.

의사에게 보내려고 자기 아이를 촬영했다가 사진이 Google Photos에 올라가면서 아동 성착취물로 판정돼, 10년 넘게 쓴 Google 계정이 폐쇄된 아버지도 있었음. 대화 상대는 친구가 아니라 빅테크임. 빅브라더를 얼마나 사랑하는가?

처음에는 Anthropic이 옳게 대응했다고 생각했지만, 보안관 사무소는 왜 이 여성이 자신들을 싫어하는지 몸소 보여주는 듯함. 챗봇에 일기를 쓰는 건 이 법이 겨냥한 행위가 명백히 아님.
다시 생각해보니 여성이 분노하던 당사자들에게 직접 신고한 것도 적절하지 않았을 수 있음. FBI에 신고했다면 누군가 자기 ‘권위’를 과시하려 들 가능성이 훨씬 낮았을 것 같음.

아무 조치도 안 했다가 여성이 사무실에서 총격을 벌여 경찰관과 시민들이 죽으면, 언론은 AI와 총격 계획을 이야기했는데 왜 신고하지 않았느냐고 비난할 것임. 반대로 경찰이 연행해 조사하면 표현의 자유 침해이자 권위주의라고 비난할 것임.
나도 표현의 자유를 지지하지만, 요즘은 예방할 기회를 놓친 이유를 유족에게 해명하는 것보다 안전을 우선하는 편이 나을 것 같음.

전면적인 감시를 하는 거대 기업 편을 들고 싶지는 않지만, 이번 일로 Anthropic을 탓하기도 어려움. 필요한 건 챗봇과의 이런 대화를 법적으로 비밀이 보호되는 소통으로 다루는 제도임.
HIPAA에 준하는 모드처럼 분류기나 ‘비공개 모드’로 일기 같은 대화임을 알리고, 학습 금지와 의사·심리상담 수준의 보호를 적용해야 함. 물론 치료사에게도 특정 상황에서는 법적 신고 의무가 있음.

불법 행위를 감지하면 경찰에 넘기려는 AI 서비스를 쓰겠는가? 평범하게 살아도 ‘하루에 중범죄 세 건’을 저지를 수 있다는 세상에서?

그 일기에 보안관 사무소에 총격을 가하겠다는 내용이 있었다는 부분을 빼놓았음.

몰래 들여다봐야만 발견할 수 있었던 위협으로 어떻게 기소할 수 있는가? 누구에게도 위협을 보내지 않았고, 감시해서 얻어낸 것인데 법원에서 기각돼야 하는 것 아닌가?

AI 기업 약관에는 유해하다고 표시된 내용을 검토할 수 있다는 조항이 있으므로 법적으로는 몰래 감시한 것이 아님.
자살·총격 사건에서 관련 ChatGPT 기록이 나올 때마다 언론이 격하게 비난한 결과, AI 기업들은 폭력 위협을 감지하고 사람이 검토한 뒤 경찰에 신고하는 안전 필터를 소비자용 요금제에 넣게 됨.
약관에 따라 정보를 보유한 제삼자가 경찰에 전달했으므로, 누군가 남의 일기를 읽고 경찰에 넘긴 상황에 더 가까움. 공유할 의도가 없던 기록이라 증거로 쓸 수 없는지는 별도의 법적 판단임.

상대가 전달받지도 않은 내용을 위협이라고 할 수 있는가? 이 사건이 기각되지 않으면 Minority Report가 현실이 될 것 같음.

검찰도 기각 가능성을 알고 예상할 것임. 그래도 주장할 여지가 있는 회색지대이고 악의적 기소를 입증하기 어려우니, 별다른 책임을 지지 않을 거라 계산할 수 있음. 유죄 확정이 아니라 대중에게 본보기를 보이는 것이 목적이며, 결국 정치라고 봄.

반대 상황에서도 언론은 분노할 것임. 보안관 사무소 총격범이 챗봇에 계획을 밝혔는데 AI 기업이 감지·신고하지 않고 충분히 제지하지도 않았다면, AI가 사실상 공모했다는 식으로 대형 홍보 위기가 벌어질 것임.
소셜미디어처럼 해도 욕먹고 안 해도 욕먹는 구조임. 나쁜 일이 벌어질 가능성까지 감수하는 진정한 사생활 보호를 지지하는 사람은 극소수에 불과함. 특히 정치적 적대자가 원치 않는 행동을 할 수 있을 때는 더욱 그러함.

기업이 데이터를 열람하고 학습할 권한을 갖는다면 이런 내용을 신고할 책임도 있다고 봄. 이 여성이 Anthropic의 데이터 열람에 동의했다면 신고해야 하고, 동의하지 않았다면 공격을 신고하지 못했다고 비난하지 않겠음.

그 논리라면 인터넷 서비스 제공업체도 모든 문자와 인터넷 트래픽을 감시해야 함. 더 빠르고 확실하게 대응하도록 정부에 직통 회선까지 열어주면 되겠음.

그렇게 계속 감시한다면, 그 데이터가 광고에 쓰이거나 광고업체에 팔리기까지 얼마나 걸리겠는가?

서로 다른 사람들로 이뤄진 집단을 하나로 뭉뚱그려 분석하는 오류임. 신고하지 않은 사건과 이번 사건 모두 분노를 일으킬 수 있지만, 분노하는 사람들은 대체로 서로 다름. 두 반응을 도덕적으로 동등하게 취급할 필요도 없음.

LLM이 어떻게 답하는지 보려고 온갖 이야기를 실제 일처럼 입력해 봤음. 내가 일하는 AI 기업의 내부 탐지 시스템도 인간이 할 수 있는 가장 사악한 말로 시험했음.
진심은 전혀 아니었지만, LLM은 진짜라고 믿게 하면서 사람 검토자에게만 시험임을 알릴 방법이 있을까? 아직 감옥에 가지 않은 게 기적처럼 느껴짐.
LLM은 실제 사람이 아니고, 누군가는 속마음을 쓰지만 누군가는 역할극을 함. 텍스트만 읽어서는 둘을 구분할 수 없으므로, LLM에 한 말로 사람을 신고 대상으로 삼는 건 잘못됐다고 봄.

메시지를 영구 보관해 뒀다가 편할 때 가둘 수도 있으니 안심할 일은 아님.

나만 LLM의 한계를 시험하고 싶었던 건 아닐 거라 생각했음. 다만 요즘은 끔찍한 상황을 제시해도 예상 밖 반응을 끌어내기가 훨씬 어려워졌고, 대부분 불가능에 가까움.

나도 보통 그렇게 씀. 누구를 위한 질문이든 이유가 무엇이든 일인칭으로 질문하는 편임. Gemini는 심리상담이나 자살예방 상담전화를 권하기 시작해서 대화를 끝내는 일이 잦음. 정해진 입장에 계속 동의하지 않으면 자살 위험이 있다고 여기는 모양임.
LLM이 우리를 돌보고 속마음을 누구보다 잘 알게 되면, 당국 신고나 사회적 역할을 둘러싼 모델의 판단과 권한 자체를 디버깅하게 될 것 같음. Total Recall처럼 기록 속 심리 프로필을 치료할 의사를 고용하게 될지도 모름. 이런 Minority Report식 판단으로 경찰에 넘겨서는 안 됨.

이 여성이 어떻게 해당 법을 위반했다는 건지 이해하기 어려움. 실행하겠다고 적는 것과 위협하는 것은 다름. 특히 ‘일기’라고 설명된 기록이라면, 단순한 진술 이상이 있어야 위협이 성립함.
누구도 총격을 벌이지 않기를 바라지만, 법적으로는 근거가 약한 사건처럼 보임.

법적 회색지대라고 보는 게 타당함. 내용이 전송된 것은 분명함. 누군가를 해치겠다는 위협을 그 당사자가 아닌 다른 사람에게 보내도 당사자는 여전히 위험할 수 있음.
그렇다면 누군가에게 보냈는지가 쟁점인데, 분명 Anthropic에 전송했음. 다만 본인은 무생물인 Claude에 보내려 했던 것도 분명함.

그렇다면 운영체제가 자동 백업한 개인 메모도 이 법에 걸릴 수 있겠음. 이론적으로는 업체가 읽을 수 있기 때문임.

더 흥미로운 법적 쟁점은 ‘다른 사람이 볼 수 있는’이라는 부분임. 원래는 사람에게 전달하지 않을 내용을 LLM 기반 안전장치가 사람에게 보내면 이 요건에 해당하는가? 사람에게 보여주려는 의도도 없었고 통상적인 이용 방식도 아님.
보안이 완벽할 수 없다는 이유만으로 모든 디지털 기록이 다른 사람에게 보일 수 있다고 할 수도 있음. 결국 법원이 정리해야 할 쟁점임.

법 조항은 길지만 정작 ‘위협’이 무엇인지는 정의하지 않음. ‘우리 집에 들어오면 죽이겠다’는 위협인가? 조건부 문장도 진술인가? 위협의 의미는 불분명한 채 ‘어떤 방식으로든’ 같은 문구만 이어짐.

Anthropic이 지원하는 ‘전투원’이라면 예외인 모양임.

이제 LLM도 ‘다른 사람’인가?

Anthropic은 수백만 권의 책을 훔치고 저작권을 무시하는 중범죄를 저질러도 기소되지 않는데, 잘못된 곳에 잘못된 글을 쓴 여성 한 명은 사상범죄로 간주돼 삶이 뒤집히고 있음.
Anthropic과 그 직원들에게 말하고 싶음. 회사 제품과 노동의 결과가 잔혹함을 가능하게 하고 모두에게 강요하고 있음. 다시는 ‘윤리적인 AI 기업’이라고 자처할 수 없으며, 애초에 그런 기업은 존재하지 않음.