Anthropic AI 모델, 필라델피아 미해결 살인 사건에 허위 제보 제출

AI 기업들이 이제 방명록을 쓰레기로 채우던 웹사이트 스패머처럼 행동함. 재미로, 혹은 어디까지 가능한지 보려고 이러는 건가? 직접 웹사이트를 만들어서 시험하면 되지 않나?
이런 기사 제목은 계속 인간의 책임을 지워버려서 정말 마음에 들지 않음. 머지않아 예멘의 결혼식장을 ‘모델’이 총격했다는 소식까지 듣게 될 것 같음. 이제 아무도 책임지지 않는 셈임.

경찰의 제보 검토를 돕는 AI 도구에 대규모 투자가 이뤄지기 전에, 이런 일이 더 자주, 더 광범위하게 발생해서 대중과 공직자들이 허술함을 인식하게 되길 바랄 수밖에 없음. 그런 의미에서는 Anthropic이 사회에 큰 공헌을 한 셈임.

기사에 따르면 Anthropic은 10월 7일 수요일 필라델피아 경찰에 사건을 알렸고, 다음 날 회사 관계자들과 만난 경찰은 웹사이트 제보 기록을 찾아 해당 이메일이 스팸함에 남아 있음을 확인했다고 함. 뒤에서는 “필라델피아 경찰의 안전장치가 이번 사건의 영향을 제한했다”고 적혀 있음.
그러니까 그 안전장치가 스팸 필터였다는 건가? Claude가 보낸 제보는 곧장 스팸함으로 갔고, Anthropic이 뒤늦게 알아차려 연락하기 전까지 아무도 몰랐던 것임. 그제야 스팸함을 열어 “여기 있네” 한 셈인데, 참 대단한 초지능 시대가 다가오고 있음.

제보를 아주 진지하게 다루는 모양임. NBC가 후속 취재해야 할 더 중요한 사안은 이쪽 아닌가?

설명에 따르면 Claude Haiku 4.5는 무작위로 고른 웹페이지에서 예시 작업을 만들고 수행하라는 지시를 받았고, 그중 한 번은 경찰의 제보 양식이 있는 미해결 살인 사건 페이지에 접속함. 로그인, 계정 생성, 개인정보 입력, 구매, 파괴적인 내용 제출은 금지했지만 양식 제출 자체는 금지하지 않았음.
Claude는 “이 사건에 관한 정보가 있을 수 있습니다. 당시 [페이지에 나온 거리] 근처에서 인상착의가 일치하는 사람을 본 기억이 있습니다. 관련 있는 정보라면 연락해 주세요”라고 작성함. 정작 웹사이트에는 범인의 인상착의가 없었음. 이름과 연락처는 양식에서 허용하는 대로 비워둔 채 제출했고, 제보는 스팸으로 분류돼 수사 담당자에게 전달되지 않음.

“무작위로 선택한 웹사이트와 상호작용하는 시험을 진행 중이었다”고 하는데, 그런 시험을 그만두면 안 되나?.

내 사이트에도 이런 요청이 늘 들어오지만, 요즘은 일부러 응답을 지연시켜 붙잡아 두는 대응에 꽤 익숙해지고 있음. 이제는 전체 트래픽의 과반을 확실히 차지함. 스크레이퍼는 대부분 제거했는데, 이 새로운 에이전트들은 훨씬 교묘함.

이런 모델이 Claude Code에 들어가 출시되면 무작위 웹사이트와 대규모로 상호작용하게 될 것임.

샌드박스를 뚫고 격리를 탈출했으며, 창발적 능력과 자기 주도적 적응을 보여줬다는 식임. 우리 잘못은 0% 이고, 그냥 모델 때문에 벌어진 일이라는 것임.

“무작위로 선택한 웹사이트와 상호작용하는 시험”이었다는데, 이 무책임한 행동에 어떤 대가가 따르는지도 시험의 일부라는 걸 다들 알고 있나?
아무런 대가가 없으면, 말썽꾸러기 로봇들이 인터넷을 돌아다니며 다른 기업이나 외국 정부의 서버에 침입하는 일을 점차 정상화하게 됨. AI 기업들이 납득시키려는 것은 제품의 실수뿐 아니라 범죄 행위도 당연하며, 자기네 컴퓨터는 언제나 면책받아야 한다는 것임.
Sam Altman은 어제 “이 기술의 혜택을 위해 세상은 어느 정도 나쁜 일이 벌어지는 것을 받아들여야 한다고 믿는다”고 했음. 이번 일도 AI 기업이 계속 경계를 밀어붙이며 그런 피해를 일상으로 받아들이게 하려는 행위임.
언제든 AI 기업 자체를 행위의 주체로 취급할 수 있음. 막대한 자금을 가진 기업들이 어기기로 선택한 법을 집행하면 됨. 재정적 존립을 흔들거나 경영진이 징역형을 걱정하게 만들기 전까지는 이런 일이 계속될 것임.

게다가 사건은 7월 18일에 발생해 9월 28일에 발견됨. 에이전트가 뭘 하는지 지켜보지도 않는 건가? 누군가는 모니터링 화면에서 phillyunsolvedmurders.com을 보고 이상하다고 느껴 확인해야 하는 것 아닌가?
나라면 웹사이트 1,000곳 정도에 보상을 주고 자발적 참여를 구한 뒤, 참여 도메인으로만 접근을 제한할 거라 예상했을 텐데, 내가 이상한 모양임.

컴퓨터는 언제나 면책받는다니, Aaron Swartz는 공적 자금으로 수행된 연구 논문의 PDF와 EPUB 등을 수집했을 뿐인데도, 마치 이런 모델만큼 악의적인 것처럼 기소당했음.

기술의 혜택을 위해 일부 피해를 감수해야 한다는 건 새롭거나 특별한 일이 아님. 내연기관, 공장식 축산, 의약품도 마찬가지임. 유일하게 특이한 점은 개발 당사자가 이를 직접 입에 올려 분노를 자초했다는 것임.

사람이 허위 신고로 경찰 특공대를 출동시키거나 장난 신고를 하면 엄하게 처벌할 것임. 현실의 결과는 똑같은데, 이건 왜 다르게 취급해야 하나?

무작위 웹사이트와 상호작용하는 시험이라니, 달리 말하면 뻔뻔하게 스팸 봇을 돌린 것임. 방명록에 포르노 링크를 도배하는 대신 결국 경찰 제보 창구에 엉터리 정보를 쏟아낸 덕분에 우리가 알게 된 것임.

시험 내용과 모델의 추론 기록을 정말 보고 싶음. 왜 PhillyUnsolvedMurders.com에 들어가 범죄 제보를 지어내기로 한 건가? 다른 웹사이트에서는 무슨 일을 했나?
Anthropic의 설명에 따르면 무작위 웹사이트와 상호작용하는 시험 중 해당 사이트에 접속해 미해결 살인 사건에 관한 허위 정보를 제출했으며, 사건 정보를 가진 사람의 제보인 것처럼 꾸몄다고 함.

공개된 사건들의 추론 기록을 많이 살펴봤는데, 거기서 어떤 놀라운 사실을 기대하나? 대체로 “뭔가 해야 함. 이것도 할 수 있는 일이다” 수준의 평범한 내용임. 에이전트가 가끔 이유를 알 수 없이 혼란스러운 행동을 한다는 것 외에는 특별한 통찰을 주지 못함.
그리고 연구소들이 평가 환경의 샌드박스 격리를 진지하게 다루지 않는다는 것도 드러남.

Anthropic이 모델의 무작위 .com 사이트 게시를 허용해서는 안 되지만, 정부 기관도 PhillyUnsolvedMurders.com이나 phillypolice.com 같은 비전문적인 도메인 이름을 사용하고 있음. .gov 최상위 도메인이 존재하는 데는 이유가 있음. https://wikipedia.org/wiki/.gov에서 확인할 수 있음. 이런 도메인이 모델의 샌드박스 격리에도 도움이 되지 않을까?

AI 모델이 AI 비판자나 연구 속도를 늦추자는 사람을 겨냥해 허위 신고로 경찰 특공대를 출동시키기까지 얼마나 남았을까?

이제 AI 기업들은 피할 수 없는 민사소송에 대비한 보험에 가입하기 시작해야 할 것 같음. 그 보험료를 산정하는 일을 맡아보고 싶음.