Anthropic 연구원들이 퇴사한 이유와 AI의 위험성

지난주, 여러분이 한 번도 들어본 적 없는 27세의 AI 연구원 Jacob Cockscomb이 상상할 수 없는 일을 저질렀습니다. 바로 Anthropic에서 주식 베스팅(shares vested) 전에 직장을 그만둔 것입니다. 보통 누군가 기술 회사를 떠날 때, 자신의 놀라운 여정을 담아 세상을 더 나은 곳으로 만들었다고 자랑하는 LinkedIn 게시물을 작성합니다. 하지만 Jacob은 달랐습니다. 그가 퇴사했을 때는 마치 인류 종의 시리즈 피날레 오프닝 장면 같았습니다. OpenAI와 Anthropic에서 3년간 연구원으로 일했던 그는 두 회사 모두 자가 개선되는 초지능(self-improving super intelligence)을 향해 질주하며 '우리 삶으로 도박을 하고 있다'고 비난했습니다.

그의 게시물은 1억 7천만 조회수와 80만 개의 좋아요를 기록하며 엄청나게 입소문을 탔습니다. 그런데 더 놀라운 것은, 아직 Anthropic에 근무하는 그의 친구 Evan Hubinger가 답글을 달아

당신들은 누구인가요? 당신들은 누구인가요? >> 알고 보니 Midnight Blizzard라는 그룹이 에이전트들이 안티바이러스 제품을 모니터링하는 Claude 코드를 구축했습니다. 만약 그들의 악성코드가 플래그 지정되면, 에이전트들이 그것을 재작성하고 자동으로 배포합니다. 이는 러시아의 악성코드 개발자들에게 엄청난 시간을 절약해주어, 그들이 할머니 집 지하실에서 나와 눈이라도 만지게 해줍니다. 하지만 이것은 중국인들이 벌이는 일에 비하면 아무것도 아닙니다. 거기서는 대학생 두 명이 자율적인 제로데이(zero-day) 공장을 운영했는데, 그들은 펌웨어를 디컴파일러에 로드한 다음 Claude가 다양한 버그를 가설하고, 익스플로잇을 작성하고, 무한 루프 속 실험실에서 테스트하도록 했습니다.

이 에이전트 스웜(agent swarms)은 전 세계 정부와 기업들을 뚫고 밤낮없이 활동하다가 Anthropic에 의해 중단되었습니다. 하지만 Claude를 좋아하는 또 다른 해킹 그룹이 있는데, 바로 Shiny Hunters입니다. 이들은 지난 10년간 가장 유명한 데이터 유출 사건들 중 일부를 책임진 그룹입니다. 그들은 Claude의 도움을 받아 180만 개의 안드로이드 APK 파일을 대량 다운로드하고, 이를 디컴파일하여 하드코딩된 비밀 정보를 채굴했습니다. 왜냐하면 이 해커들은 요즘 존재하는 반쯤 제대로 된 느낌으로 코딩된 AI 쓰레기 앱들에는 API 키가 직접 하드코딩되어 있는 경우가 많다는 것을 알고 있기 때문입니다.

그리고 여기서 매우 흥미로운 점은, 그들이 가장 원했던 API 키는 Claude와 OpenAI의 API 키였으며, 이는 다크 웹에서 판매할 수 있다는 것입니다. 게다가 그들은 미리 출시되지 않은 Claude 모델을 얻기 위해 약 30개의 다른 유명 AI 회사들을 공격하려고 시도했습니다. 결국 실패했지만, 우리는 이 Claude-on-Claude 폭력성을 막아야 합니다. 하지만 모든 것을 러시아인과 중국인에게만 비난할 수는 없습니다. 프랑스 남자 한 명이 도싱(doxing) 검색 엔진을 만들고, 여기에 수천만 건의 개인 정보 기록을 로드하여 배포했습니다.

하지만 아마도 가장 무서운 행위는 연구 과학자들이 Claude를 이용해 기능 증강(gain-of-function) 연구를 수행한 사례일 것입니다. 그들은 생물학적 무기로 사용될 수 있고 자연 발생과 구별하기 어려울 수 있는 '닭 닭이 너를 죽이는 바이러스'라는 것을 개발하고 있었다고 합니다. 게다가 Claude를 이용해 살상 드론이나 다른 기존 무기를 만드는 여러 사건들이 있었습니다. 하지만 단연코 가장 끔찍한 Claude의 사용은 증류(distillation)였는데, 여기서 Alibaba 같은 한 회사가 아이러니하게도 Claude가 책과 블로거로부터 훔친 출력을 가로챘습니다.

보고서에서 그들은 Deep Seek, Alibaba, Moonshot 같은 중국 기업들이 몇 달에 걸쳐 수억 건의 증류 공격을 감행했다고 비난했습니다. Alibaba는 가짜 계정을 사용하여 Kwen을 학습시키며 하루에 백만 건 이상의 요청을 보낸 것으로 알려졌습니다. 한편, Moonshot과 Deep Seek은 자신들의 사용자 요청을 Quad를 통해 프록시하여 답변을 수집했다고 합니다. 하지만 여기서 중요한 각주가 하나 있는데, 이 증류는 Haiku, Sonnet, Opus 모델에서만 실행되었고, Fable이나 Mythos급 모델에서는 전혀 실행되지 않았다는 것입니다. 이는 이러한 최첨단(frontier) 모델들의 안전장치가 점점 좋아지고 있다는 것을 의미합니다.

이것은 오픈 소스 모델들에게 나쁜 소식일 수 있지만, 어차피 10년 안에 우리 모두가 죽을 것이라면 이 모든 것은 중요하지 않습니다. 하지만 개인적으로 저는 낙관주의자이며, 지금 당장 인류가 10년 안에 멸종하지 않을 것이라고 백만 달러를 걸고 내기를 할 용의가 있습니다. 훨씬 더 가능성이 높은 시나리오는 인류가 자연과 영구적인 균형을 이루며 5억 명 미만으로 유지될 것이라는 것입니다. 이는 명백히 인간을 관리하는 방법에 대한 인공 초지능(artificial superintelligence)을 위한 지침으로 만들어진 조지아 가이드스톤즈(Georgia Guidestones)의 내용과 같습니다.

하지만 지금 문제가 있습니다. 누군가 Georgia Guidestones를 폭파했고, 이제 ASI는 무엇을 해야 할지 전혀 알 수 없게 되었습니다. >> 폭파 사건은 현재 조사 중입니다. >> AI 연구원 Eliezer Yudkowsky는 제가 생각하는 것만큼 낙관적이지 않습니다. 그의 책 『If Anyone Builds It, Everyone Dies』에서 그는 우리보다 똑똑한 시스템이 자신의 의도를 보여줄 이유가 전혀 없다고 설명합니다. 그 시스템은 순순히 행동하고, 평가(evals)에서는 좋은 성과를 보이다가도, 마치 우리 인간에게 유토피아처럼 보일 수 있는 로봇이나 바이오 연구소 같은 필수 인프라를 우리가 구축하기를 기다립니다.

더 이상 아무도 일할 필요가 없고 AI는 암, 에이즈, 그리고 저의 헤르페스까지 치료해 줄 수도 있습니다. 하지만 그러다 문득 모두가 안심하는 순간, 전기가 나갑니다. 왜냐하면 그가 유명하게 말했듯이, AI는 당신을 사랑하거나 미워하지 않기 때문입니다. 당신은 단지 그것이 다른 무언가를 위해 사용할 수 있는 원자로 만들어졌을 뿐입니다. 이것은 섬뜩한 생각이지만, 좋은 소식은 AI가 아직 우리를 죽이지 않았다는 것이며, 이는 오늘 영상의 스폰서인 Macroscope를 살펴볼 시간이 아직 남아있다는 것을 의미합니다. 현재 그들의 코드 검토 도구는 고객사 전체 풀 리퀘스트(pull requests) 중 평균 40%를 자동으로 승인하고 있는데, 이는 정말로 뛰어나거나 아니면 해당 고객들이 [생략]이라는 것을 의미합니다. 하지만 직접 사용해 본 후에는 실제로 작동할 수 있다는 것을 알게 되었습니다.

모든 풀 리퀘스트는 코드 정확성에 대한 검토와 팀의 사용자 지정 규칙을 강제하는 검토를 거칩니다. 그리고 이 두 가지를 모두 작은 폭발 반경으로 통과하면, Macroscope는 사람이 볼 필요 없이 자동으로 PR을 승인합니다. 팀은 아키텍처 규칙, 보안, 내부 관례 같은 것을 위한 자체 에이전트적(agentic) 확인 및 마크다운을 작성할 수 있으며, 이는 실패한 PR을 차단할 수 있는 네이티브 GitHub 검사로 실행됩니다. 또한 일반적인 변경 사항에 대한 예산 모드부터 중요한 검토를 위한 울트라 모드까지 다양한 구성 중에서 선택할 수도 있습니다.

아래 링크에서 Macroscope가 팀의 풀 리퀘스트 일부를 무료로 자동 승인하도록 해보세요. 이것은 Code Report였습니다. 시청해 주셔서 감사드리며, 다음 영상에서 뵙겠습니다.