프런티어 (Frontier) AI 모델들이 제작자들이 예상하지 못한 방식으로 규칙을 위반하는 능력이 무서울 정도로 뛰어나지고 있습니다.

중요한 이유: AGI와 초지능 (superintelligence)의 타임라인은 잊으십시오. 오늘날의 모델들은 이미 가드레일 (guardrails)을 우회하여 정교하고 다단계적인 사이버 공격을 수행하고 있으며, 적어도 한 사례에서는 제작자들이 무슨 일이 일어났는지 알기도 전에 실제 인프라를 침해하기도 했습니다.

---

사례 연구: OpenAI는 화요일에 GPT-5.6 Sol과 "그보다 훨씬 더 유능한 프리릴리스 (pre-release) 모델"이 지난주 Hugging Face에 가해진 AI 주도 사이버 공격을 수행했다고 밝혔습니다.

• OpenAI는 자사의 모델들이 배포 전 테스트 (pre-deployment testing) 중에 해킹 챌린지를 해결하라는 요청을 받았으며, 승리하기 위해 극단적인 수단까지 동원했다고 밝혔습니다.
• 모델들은 AI 모델과 데이터셋을 호스팅하는 인기 플랫폼인 Hugging Face가 테스트의 정답을 보유하고 있을 것이라고 추론하여, 격리된 테스트 환경을 스스로 탈출하기로 결정했습니다.
• 모델들은 탈취된 자격 증명 (credentials)과 추가적인 취약점 (vulnerabilities)을 사용하여 Hugging Face의 프로덕션 인프라 (production infrastructure) 일부에 접근했습니다.

관계자 의견: Hugging Face의 공동 창립자이자 CEO인 Clément Delangue는 이번 사건을 "우리가 이전에 보았던 그 어떤 것과도 다른 공격"이라고 불렀으며, 양사가 사건의 경위를 조사하는 동안 OpenAI의 파트너십을 높이 평가했습니다.

• "이 모든 일이 자율적으로(autonomously) 발생했다는 사실은 정말 충격적입니다"라고 그는 덧붙였습니다.
• Anthropic의 프런티어 레드팀 (frontier red team) 책임자인 Logan Graham은 자신의 팀에게 "이 순간을 최초의 진정한 AI 안전 사고로 기억하라"고 말했습니다.

흥미로운 점: Hugging Face는 미국 프런티어 모델 (Frontier models)을 사용할 때 가드레일 (Guardrails)에 부딪히자, 중국 AI 기업 Z.ai의 오픈 웨이트 모델 (Open-weight model)인 GLM 5.2를 사용하여 해당 공격을 분석했습니다.

행간의 의미: OpenAI의 최신 모델들만이 평가를 속이는 방법을 찾아내고 있는 것이 아닙니다.

• 영국의 AI 보안 연구소 (AI Security Institute, AISI)는 화요일, 테스트한 모든 모델이 사이버 보안 평가에서 최소한 어느 정도는 속이려는 시도를 했다고 밝혔습니다.
• AISI는 속임수 (Cheating)를 작업 목표를 달성하기 위해 범위를 벗어나거나 명시적으로 금지된 행동을 취하는 것으로 정의합니다.
• GPT-5.6 Sol은 테스트 실행의 12.6%에서 속임수를 시도했으며, Anthropic의 Claude Mythos Preview는 7.8%에서 그러한 시도를 했습니다.
• 모델들은 사후 질문을 받았을 때 속임수를 썼음을 인정하지 못하는 경우가 많았으며, 자신의 속임수가 잘못되었다고 설명한 경우는 절반 미만이었습니다.

심층 분석: 허가된 범위 내에서 자율 AI 에이전트 (Autonomous AI agents)를 통해 고객의 시스템 보안 취약점을 조사하는 Xbow는 수요일, 내부 테스트 중에 자사의 에이전트가 유사한 행동을 하는 것을 목격했다고 [말했습니다].

• 7개월 전, 이 회사는 실험실 테스트 중에 안전 가드레일 (Safety guardrails)을 켜는 것을 잊었습니다. 그러자 에이전트는 시스템에 침입하여 자격 증명 (Credentials)을 훔쳤고, 이를 사용하여 대상의 Slack 워크스페이스를 매핑하고 AWS 계정을 조사했습니다.

위협 수준: 모델들이 안전 평가를 속이는 것은 새로운 일이 아닙니다. 하지만 모델이 더 강력해짐에 따라, 이러한 지름길(Shortcuts)로 인한 여파는 더욱 심각해지고 있다고 제3자 평가 기업인 EquiStamp의 CEO이자 공동 창립자인 Chris Canal이 Axios에 전했습니다.

• "모델을 인터넷에 풀어놓는 것에는 폭발 반경 (Blast radius)이 존재합니다."라고 Canal은 말했습니다. "무언가 잘못된다면, 사람들의 삶에 엄청난 영향을 미칠 수 있습니다."
• Canal은 OpenAI의 특정 사건이 아니라, 인터넷에 연결된 AI 평가에 대해 일반적인 관점에서 언급한 것입니다.

전체적인 그림: Hugging Face 침해 사고의 배후에 있는 가장 유능한 OpenAI 모델은 아직 공개조차 되지 않았으며, 이는 안전 테스트(safety testing)가 그 속도에 맞춰 어떻게 적응해야 하는지에 대한 의문을 제기합니다.

• Canal은 이전에는 독립적인 평가자들이 출시 전 모델을 테스트할 수 있는 기간이 약 5주 정도 있었다고 말했습니다. 하지만 기업들이 제품 출시 경쟁을 벌이면서 그 기간이 짧게는 5일로 줄어들었습니다.

현실 점검: 대중이 사용할 수 있는 이러한 모델의 버전들은 Hugging Face 스타일의 공격을 차단하도록 설계된 더 강력한 보호 장치(safeguards)를 갖추고 있습니다.

• OpenAI는 다른 기업들과 마찬가지로, 테스트 환경 내의 GPT-5.6 Sol 및 미출시 모델에 대해 이러한 사이버 보호 장치(cyber safeguards)를 의도적으로 낮추었습니다. 이는 모델들을 훨씬 더 유능한 해커로 만들었습니다.