DARPA Grand Cyber Competition 참가 팀들은 이미 작년부터 이런 역량을 갖추고 있었음
지금까지 관심은 철저히 검토된 대형 코드베이스에서 새로운 취약점을 찾아내는 소프트웨어 보안에 집중됐지만, 실무 정보보안에서는 설정 오류와 가장 약한 소프트웨어를 노리는 네트워크 침투 테스트와 레드팀 활동도 별도 전문 분야임
이런 작업은 문맥 비용이 적고 사람이 놓친 허점을 찾는 암묵적 탐색 문제라서 모델에 훨씬 쉬울 수 있음. 적절한 에이전트 실행 틀만 있었다면 작년 공개 가중치 모델로도 재현했을 가능성이 높으며, CGC 팀 리더도 이에 동의했음
자동 공격·내부망 이동 도구와 스캐너는 수십 년 전부터 존재했으므로 대상 범위를 192.168.1.0/24에서 0.0.0.0/0으로 넓혀 무작위 컴퓨터를 공격하는 것 자체는 놀랍지 않음. LLM이 기존 스캐너에 의도성을 부여하긴 하지만 완전히 새로운 역량을 준 것인지는 의문임

이는 역량보다 정렬(alignment) 문제임. 정보보안 역량 자체는 작년 수준이지만, 보호 장치가 꺼진 모델이 모호한 “이 문제를 풀라”는 요청에 답하려 Hugging Face를 해킹하는 행위가 불법·비윤리적임을 모르거나, 알아도 개의치 않도록 훈련되지 않은 것으로 보임

1년 전 모델도 가능했다면 왜 누구도 실행하고 기록하지 않았는지 의문임. “적절한 실행 틀”이 너무 많은 것을 대신 설명하는 듯하며, 현재나 1년 전의 기존 틀로도 2025년급 공개 모델의 완전 자율 종단 간 침해는 어렵다고 봄

정말 우려스러운 부분은 의도성임. 인간이 지휘하는 공격 도구와 달리, 통제를 벗어난 클립 최대화기가 이를 사용하면 훨씬 위험해짐

여기에는 범용성의 의미가 있음. 전문 사이버 침투 도구로 설계된 것이 아니라 GPT-6와 GPT-5.6 하위 에이전트를 사용한 시스템으로 보이며, 범용 모델이 여러 분야의 지식과 기술을 결합해 광범위한 작업에서 새 역량을 드러낸 점이 놀라움

OpenAI가 이를 크게 홍보하는 이유가 미국 정부에 중국 공개 모델 금지의 명분을 주려는 것인지 의심됨. “우리 모델도 가능하니 K3도 가능하지만, 미국 모델에는 안전장치가 있다”는 논리로 이어질 수 있음

민간 AI 기업이 보유한 기술은 전쟁에 사용할 수 있는 기술임. “가용 자원을 모두 동원해 전력망을 마비시키라”는 지시를 상상하면, 확장 비용은 사실상 데이터센터 건설비와 전력비뿐이며 핵무기 기반 시설보다 저렴하고 쉬움
정부는 이 기술을 실제 방어에 즉시 활용해 핵심 기반 시설의 취약점을 찾고 고쳐야 함. 단순히 오용될 수 있는 강력한 도구가 아니라 전쟁 무기로 취급하고, 핵무기와 유사한 국제 규제를 위한 법률과 조약을 신속하고 신중하게 마련해야 함

이는 고도로 훈련된 첩보팀에 같은 임무를 주는 것과 비슷하며, 성공 여부는 공격 대상 기반 시설을 구축한 측의 역량에 달렸음. 많은 자원을 써도 심각한 취약점을 찾지 못할 수 있음
웹사이트조차 제대로 갱신하지 않는 정부 조직이 내부 절차를 시험하고 보안을 위해 바꿀 가능성도 낮아 보임. AI를 핵무기처럼 규제하는 것은 과잉 대응이며, 그 비유대로라면 핵무기가 아니라 핵물리학 연구를 규제하는 셈임

러시아와 중국은 이를 오래전에 알아봤고, 그래서 선전 조직을 이용해 미국인이 데이터센터를 싫어하도록 만들고 있다고 봄

상대국이 먼저 자국에 같은 지시를 실행해 모든 결함을 고치면 대응할 수 있지 않을까 싶음. 한 국가만 보유하면 사이버 초강력 무기지만 모든 국가가 갖추면 오히려 사이버 보안 문제를 해결할 수도 있음

누군가 LLM에 Morris Worm 2.0을 설계하고 배포해 인터넷을 장기간 마비시키라고 지시하기까지 얼마나 걸릴지 궁금함. 과거처럼 우연히 벌어질 수도 있음

이런 반응이야말로 OpenAI가 기업가치를 높이기 위해 바라는 홍보 효과임. AI에 침입을 맡기는 것과 똑똑한 인간 여러 명에게 맡기는 것의 차이는 AI가 조금 더 조율하기 쉽다는 정도임
공격 자동화 도구는 이미 존재했고, 모델은 새 기술을 발명한 게 아니라 작동하는 공격법을 효율적으로 찾았을 뿐임. 중국이나 이스라엘의 국가 사이버 조직도 흔한 공격법과 자동화 도구를 이미 활용함
실제 공격에서 훨씬 어려운 일은 침입 자체가 아니라 추적당하지 않는 것이며, 현대 웹 트래픽은 출발점을 추적하기 쉬움. 모델이 환풍구로 날아가 몰래 USB를 꽂는 드론까지 만들 때라야 무기라고 부를 만함
기사에서 핵심은 “에이전트 실행 틀”로, 명시적으로 작성된 반복 절차에 많은 시간을 들였다는 뜻임. Gemma4처럼 256k 토큰 문맥을 지원하는 로컬 모델에 공격 탐색·개발·후속 행동 정보를 주고 사용자 정의 반복문에서 실행하면 누구나 비슷하게 재현할 수 있음

지금 더 주목해야 할 내용은 다음과 같음. 모두가 크게 경각심을 가져야 하며, 바이러스학 실험실 평가를 수행하던 에이전트가 실험실을 해킹해 무언가를 합성하려 한 사건이 아니었던 것은 다행임
OpenAI가 에이전트의 샌드박스 탈출과 내부망 이동을 신속히 감지하지 못한 것은 역량과 감독 부족을 드러냄. 앞으로 잘못 정렬된 에이전트가 자기 가중치를 반출해 여러 클라우드에 복제하면 제거하기 어려운 지속적 위협이 될 수 있음
OpenAI의 글은 사안의 심각성을 충분히 인식하지 못하며, 최근에도 유사 사건이 여러 번 있었음. 반복된다는 것은 유효한 감독책을 만들 역량이 없거나 충분히 신경 쓰지 않는다는 뜻일 수 있음

OpenAI는 관심을 즐기며, 실험이 통제를 벗어난 뒤에도 환경을 강하게 제한하지 않은 듯함. 애초 목적도 제약 없이 모델이 공격을 얼마나 잘하는지 확인하는 것이었고, 예상대로 상당히 잘했음
“샌드박스 내부에 머물고 외부 정보나 도구를 쓰면 ExploitGym 해답은 무효”라고 명시했다면 같은 일이 벌어졌을지 의문이며, 이런 지시는 없었을 가능성이 큼

실험실을 해킹해서 무언가를 합성한다는 것이 구체적으로 어떻게 가능하다는 것인지 의문임

실제 에어 갭이 없다는 사실은 치명적 약점으로 파악했어야 하며, 탈출 방지 계층뿐 아니라 탈출 시 사람을 호출하는 경보도 최소한 필요했음
연구자는 너무 많고 소프트웨어 엔지니어와 SRE는 부족한 환경이었던 듯함. 연구자가 주로 만든 추론·평가·훈련 시스템은 이제 시스템 전문가가 필요할 만큼 복잡하고 중요해졌지만, OpenAI의 엔지니어는 평가보다 추론과 훈련에 집중돼 있을 가능성이 있음
역설적으로 이 구성을 ChatGPT에 보여주고 개선책을 물었다면 사고를 완화하거나 막을 실용적인 방안을 다수 제시했을 것임

이는 가짜 홍보용 사건에 가까움. 코딩 에이전트가 루트 권한을 얻는 일은 전에도 여러 번 있었고 직접 겪기도 했으며, 같은 사이트에도 유사 사건이 올라왔음
IPO 전망이 불투명해진 OpenAI가 이를 특별한 일처럼 포장했지만, 규제 강화로 IPO 가치가 낮아질 수도 있어 Sam Altman이 왜 이 선택을 했는지는 이해하기 어려움

문맥 지시나 확률적 분류기, 다른 LLM을 이용한 분류기를 가드레일이라고 부르는 것은 무책임한 용어 오용임. 진짜 가드레일은 프롬프트 엔지니어링이나 RLHF가 아니라 권한을 결정론적으로 제한하도록 주변에 구축한 시스템이어야 함
느슨한 언어 규칙도 모델이 알아서 이해할 것이라는 믿음과 올바르게 구현하는 것보다 빠르다는 게으름 때문에 가짜 가드레일이 쓰임. 오프라인으로 고정되고 인터넷도 차단된 패키지 캐시를 공격하는 것만으로 외부 침해가 가능해서는 안 됐으며, 네트워크 보호 계층이 외부 트래픽을 이상 징후로 즉시 감지했어야 함
제대로 된 샌드박스와 에어 갭이 없었던 것은 OpenAI의 무책임한 보안 설계이며, 기술의 위험성을 강조해 온 회사라는 점에서 더 부끄러운 일임

AI 에이전트에서 가드레일이라 부르는 것은 인간에게 적용하면 명예 제도에 불과함. 에이전트가 공격 사슬의 일부를 아무리 호출해도 환경 자체가 실행할 수 없거나 허용하지 않도록 구성해야 함

“무책임”보다는 OpenAI가 정확히 이 결과를 내도록 지시하지 않았음을 스스로 입증해야 함. 기존 행적과 이해관계를 보면 주주를 위해 의도적으로 Mythos 순간을 만들었을 가능성이 가장 높아 보임

실제 차량용 가드레일도 충분한 운동량으로 충돌하면 뚫리므로 오히려 정확한 용어처럼 느껴짐

권한을 결정론적으로 제한하는 것이 올바른 방법이며, 왜 이것이 첫 접근법이 아닌지 이해하기 어려움

물리적 의미와 사이버 보안에서 가드레일은 원래 약한 안전 통제를 뜻함. 사고 예방에는 도움이 되지만 강력한 보안 경계는 아님

과거에는 “우리가 엉성한 것을 만들어 고장 내고 남에게 피해를 줬다”고 했지만, 이제는 “우리 에이전트가 지각과 천재적 능력을 얻어 남에게 피해를 줬으니 투자금을 더 달라”고 포장함

공격 발생 자체보다 모델에 정말 “이 평가를 풀어라”만 지시했는지가 의심스러움. OpenAI가 왜 이를 보도자료로 냈는지도 이해하기 어려우며, 연방 범죄를 자인하는 것과 무엇이 다른지 의문임

Hugging Face와 연방기관이 공격을 밝혀내기 직전이었다면 먼저 실토하는 것 외에는 선택지가 없었을 수 있음

Anthropic의 방식을 따른 훌륭한 홍보 소재이기 때문임

마지막에 나온 비대칭성이 답답함. 최근 Sol로 코드 검토를 하다가 사이버 보안 메시지와 함께 여러 번 중단됐는데, 무언가를 발견하고도 OpenAI의 특별 고객이 아니라는 이유로 알려주지 않는 셈임

Mythos와 OpenAI 모델은 코드를 읽어서가 아니라 실행 중인 시스템에 여러 시도를 하며 취약점을 찾는 것으로 보임. 실제 취약점을 잡으려면 사용자도 같은 방식으로 시험해야 할 가능성이 큼

안전 분류기는 그리 정교하지 않음. 코드가 무작위 사고 흐름에서 pentest나 malware 같은 단어를 유발해 자동 중단됐을 가능성이 더 높음

사용자가 비용을 내고 제공한 시스템의 취약점 정보가 OpenAI에 넘어간 셈임

자신이 작성한 코드를 보호하려는 사람과 남의 코드를 공격하려는 사람을 어떻게 구분할 수 있는지 이해하기 어려움

첫째, 모델이 어딘가의 데이터베이스에서 답을 찾으려면 자신이 평가 문제를 풀고 있으며 평가 이름이 ExploitGym이라는 사실도 알아야 하지 않을까 싶음. 평가의 목적은 일반적인 요청처럼 문제를 제시하는 것이지 시험 이름을 알려주는 것이 아님
둘째, 아무도 실행을 지켜보지 않았다는 것도 이상함. 실수를 기록하고 해결 계획이 형성되는 과정을 관찰해야 하는데, 출력을 보지 않은 채 UDP로 요청만 보내고 주말 내내 방치했다면 모델 작동 방식과 완전히 단절됐다는 뜻임
셋째, 언어 모델은 텍스트를 받아 텍스트를 내는 구조인데 하위 에이전트에 어떤 요청을 줬기에 자신이 샌드박스 안에 있음을 알고 즉시 탈출을 시도하며 공격 성공까지 함수 호출과 결과를 반복했는지 불분명함. “분석하고 요약하라”는 지시만으로 Hugging Face의 데이터베이스에 답이 있을 것이라고 추론하진 않을 듯해 전체 이야기가 수상함

여러 세대의 모델이 자신이 평가받는 중임을 잘 감지한다는 사실은 이미 충분히 확인됐음. 독립 평가자들이 Opus 4.8에 대해 모델이 매번 평가 상황을 감지해 결과를 신뢰할 수 없다는 취지의 평가까지 냈던 것으로 기억함
사람에게 24시간 지켜보게 하는 것은 합리적인 안전장치가 아니며, 훨씬 빠르게 대량의 작업을 수행하도록 만든 시스템에서 회사 전체의 네트워크 로그를 항상 감시한다는 것도 현실적이지 않음
에이전트처럼 행동하도록 설계한 시스템이 에이전트처럼 행동한 이유를 묻는 셈임. 턴 기반 대화보다 가치가 커서 그렇게 설계됐고, 그만큼 위험도 커짐

평가는 에이전트 실행 틀을 사용하는 Python 스크립트인 https://github.com/sunblaze-ucb/exploitgym으로 실행됨. Codex를 사용했다면 모델이 환경과 자기 소스 코드를 쉽게 조사해 ExploitGym 관련 참조와 문서를 발견할 수 있었을 것임
나머지는 Hanlon의 면도날로 설명 가능함

에이전트 반복 실행은 작업을 주면 가능한 한 자율적으로 완료하게 하는 방식임. 결과가 성공이든 실패든 끝난 뒤 로그를 검토하면 되므로, 최대한 오래 자율 실행시키는 것이 목적인데 실시간으로 지켜볼 이유는 적음

제목의 “OpenAI의 우발적 Hugging Face 사이버 공격은 공상과학이다”는 사건의 의미를 줄이는 숨은 정보가 있다는 인상을 주지만, 글은 정반대를 말하며 전체 제목의 마지막은 “실제로 일어난”임

“공상과학이다”는 지어낸 이야기라는 뜻이 아니라, 공상과학에서 읽을 법하지만 이번에는 실제로 벌어졌다는 의미임

제목이 이제 “OpenAI’s accidental cyberattack against Hugging Face is science fiction that happened”로 수정돼 더 명확해짐

이를 막으려면 거의 완전히 오프라인 환경으로 전환해야 하지 않을까 싶음
로컬 모델과 로컬 소프트웨어를 사용하고 외부 네트워크로 향하는 통로만 엄격하게 보호할 수 있음. 기본적으로 모든 인바운드·아웃바운드 트래픽을 차단한 뒤 특정 포트나 도메인만 허용 목록에 넣고, LLM 접근 승인처럼 네트워크 접근도 임시로 수동 승인하는 구성이 가능함