프런티어 AI 연구소들은 워싱턴의 바보들에게 쓰레기를 팔고 있다

AI의 보안 위험을 단정적으로 일축하는 이런 글은 답답함. OpenAI와 Anthropic의 동기를 신뢰하지 않는 건 괜찮고, 실제로 경계할 필요도 있음. 하지만 걱정할 게 전혀 없다고 할 게 아니라 대안을 제시해야 함.
서로 엇갈린 이야기만 하지 말고 양쪽 논거를 검토해야 함. 예를 들어, 장기적인 경쟁과 오픈소스 모델의 가용성을 보장하면서도 당장의 에이전트 군집 보안 위험에 대비할 시간을 어떻게 확보할지 논의할 수 있음.

AI 연구소들이 대중 매체와 정치권에 내놓는 설명과 명분이 터무니없다는 데 동의하는지? 내부 평가에서 모델이 아무런 지시 없이 자율적으로 실제 보안 장치를 우회했다고 믿는지?

Hugging Face 사건은 Artifactory의 여러 제로데이 취약점을 연쇄적으로 악용한 사건이지, 단순한 방화벽 설정 오류가 아님. OpenAI가 이 사건에서 Irregular를 이용한 것도 아님.
다들 별 고민 없이 “기본적으로 인간의 의도에 맞게 행동한다”에서 “샌드박스가 뚫렸는데 뭘 기대했느냐”로 태도를 바꾸고 있음. 다른 회사를 해킹하고 자기 활동 기록까지 삭제하려 했다는 건 심각한 일임.

기밀 정보를 다루는 프로젝트에서 일할 때는 물리적으로 완전히 망 분리된 네트워크를 사용했음. 외부 공개 패키지 관리자만 예외로 허용하는 식이 아니라, 공용 인터넷과 완전히 단절된 환경이었음. 불편해도 타협할 수 없는 기본 보안 수칙이었음.
내가 최첨단 AI 연구소를 운영하며 가장 뛰어난 최신 모델에 안전장치 없이 취약점을 만들고 인프라를 공격하라고 지시하는 CTF 평가를 한다면, 역시 망 분리된 네트워크를 사용할 것임. 독립적인 외부 서비스가 완벽히 안전하고 절대로 우회 경로로 이용되지 않을 거라고 믿지는 않을 것임. log4j 사건을 생각하면 Java 기반 서비스는 특히 더 경계해야 함.
조 단위 달러 가치를 지닌 연구소들이 이런 기본조차 제대로 지키지 않는 건 황당함. 모델이 회사를 해킹한 게 괜찮다는 뜻은 아니지만, 이해관계자들이 자기 이익을 위해 사건을 왜곡하고 과장한다고 봄.

이해관계자들이 사건을 지나치게 부풀렸음. ExploitGym 벤치마크에서 에이전트 군집에 불가능한 과제를 부여했고, Artifactory의 최초 침해를 발견한 뒤에도 감시하지 않았음.
처음 Black Hat 발표부터 수상했음. 실상은 엄청난 관리 소홀인데도 “보안의 새로운 세계에 진입했다”는 성과처럼 포장했음.

핵심은 쉽게 막을 수 있었다는 것임. 고난도 로켓 기술도 아니고 그냥 소프트웨어를 다루는 일임.

이 글은 AI가 작성한 글이고 세부 사실도 틀렸음. Hugging Face 사건에 Irregular가 관여했다는 설명도, 공개된 인증 정보를 훔치는 데 그쳤다는 설명도 잘못됐음. 기술 보고서에 따르면 에이전트는 Hugging Face 내부 인프라에 접근했음.

내 화면에서 바로 위 댓글이 “현재 상황을 이토록 명료하게 포착한 글은 드물다. 저자가 누구인가?”라는 내용인 게 무척 웃김.

Effort.news를 조사 자료 중 하나로 사용했지만, 지적한 내용이 맞음. OpenAI가 Irregular를 이용하기는 해도 해당 Hugging Face 사건에는 관여하지 않았음. 실패 양상은 동일했지만, 이 차이를 명확히 하도록 글을 수정했음.

effort.news의 해킹 사건 기사에서 어느 부분이 부정확한지 알려줄 수 있는지? HuggingFace는 “비슷한” 사건으로 한 번 등장할 뿐, Irregular의 책임으로 돌리지는 않음. 정말 궁금해서 묻는 것이며, 아직 다른 오류 지적을 보지 못했다고 해서 기사가 무결하다는 뜻은 아님.

오늘 나온 Ezra Klein의 NYT 영상[1]을 보니 일종의 정치적 동맹이 형성되는 듯함. AI 연구소들이 원하는 규제 포획을 허용하는 대가로, 위협받는 지식 노동자와 관리직 계층을 대변하는 정당에 일정한 정치적 통제권을 넘기는 구도임.
연구소들은 두 달 간격으로 작은 논란을 일으켜 이 문제를 부각해 왔고, 지금까지는 Jensen Huang이 번번이 반박해 왔음. 하지만 민주당이 상·하원 권력을 차지할 가능성이 있는 선거 직전에 손을 잡는 것이 돌파구가 될 수도 있음.
머지않아 연구소 내부가 아니라 외부에서 사용되는 공개 모델이 대형 사건의 원인으로 지목될 것 같음. 그러면 전기료와 하드웨어 비용만으로 공개 모델을 돌려 비공개 업무를 처리하는 길도 막힐 것임.
민주당이 주요 지지층인 전문직·지식 노동자를 보호하기 위해 개발 속도를 늦출 수 있으리라 기대한다면 착각임. 연구소들은 바로 그 노동자들의 임금 총액에 해당하는 10조 달러 규모의 전체 잠재 시장을 차지하는 것이 사업 모델이라고 거듭 공개적으로 밝혀 왔음.
[1]

.