아무도 믿지 않았던 안전 프레임워크가 OpenAI의 차기 모델을 중단시켰다

OpenAI는 금요일, 자사의 차기 모델인 Astra의 내부 개발을 일시 중단했습니다. 이는 예비 평가 결과, 해당 모델이 회사의 자체적인 Preparedness Framework(준비성 프레임워크) 내 사이버 보안 "Critical(심각)" 임계값을 넘었을 가능성이 발견되었기 때문입니다. 해당 프레임워크가 도입된 약 3년의 역사상, 모델이 Critical 단계의 개발 단계 요구 사항을 트리거한 것은 이번이 처음입니다.

판도라의 상자가 열렸으나, 누군가 방금 그 뚜껑을 다시 닫았습니다.

저는 자발적인 안전 프레임워크(voluntary safety frameworks)에 대해 회의적이었습니다. 대부분의 AI 안전 커뮤니티도 마찬가지였습니다. 2025년 9월의 한 arXiv 논문은 Preparedness Framework v2가 "어떠한 AI 리스크 완화 관행도 보장하지 않는다"고 결론지었으며, Georgetown CSET 또한 지난 12월 유사한 판결을 내리며 이를 금융 서비스의 자율 규제와 같은 범주로 분류했습니다. 일반적인 견해는 이러한 프레임워크가 실제로 무언가를 막기 위해서가 아니라, 압박을 흡수하기 위해 존재한다는 것이었습니다. 그것들은 대중 앞에서 걱정하는 모습을 보여주기 위한 구조(architecture)에 불과했습니다.

하지만 프레임워크가 작동했습니다. 완벽하지는 않습니다. CEO의 거부권(override authority)은 여전히 존재하며, 이번 발견 또한 확정된 것이 아닌 예비적인 단계입니다. 하지만 평가자들이 "심각한 역량을 배제할 수 없다"는 결과를 가져왔을 때, OpenAI는 회의 일정을 잡기 위한 회의를 잡지 않았습니다. 그들은 즉시 작업을 중단하고 같은 날 이를 공개했습니다.

Astra가 한 일

Preparedness Framework에 따르면, Critical 사이버 보안 임계값은 다음과 같이 구체적으로 정의됩니다: 모델이 인간의 개입 없이 강화된 실제 시스템에서 모든 심각도 수준의 기능적인 제로데이 취약점(zero-day exploits)을 자율적으로 식별하고 개발할 수 있거나, 높은 수준의 목표만 주어진 상태에서 강화된 대상에 대한 사이버 공격을 위한 엔드 투 엔드(end-to-end)의 새로운 전략을 고안하고 실행할 수 있는 경우를 의미합니다.

GPT-5.6 Sol — OpenAI의 가장 강력한 배포 시스템 — 은 "High" 티어에 도달했습니다. 이는 모델이 버그와 익스플로잇 프리미티브(exploitation primitives)를 식별할 수는 있지만, 실제로 작동하는 엔드 투 엔드(end-to-end) 익스플로잇 체인을 생성하는 단계에는 미치지 못했음을 의미합니다. Astra의 예비 평가에 따르면, 이 모델은 완전 자율적 익스플로잇 개발(full autonomous exploit development) 단계로 넘어갔을 가능성이 있습니다. 이 구분은 단순히 학술적인 차이가 아닙니다. "High"는 모델이 숙련된 인간의 속도를 높여준다는 것을 의미하며, "Critical"은 모델이 그 모든 과정을 스스로 수행할 수 있음을 의미합니다.

OpenAI는 자신들이 어떤 특정 평가를 수행했는지, 그리고 어떤 임계값(threshold)을 기준으로 평가했는지에 대해 명확히 밝혔습니다. 그들은 구축 중인 통제 장치들에 대해 설명했습니다: 제한된 네트워크 액세스를 가진 격리된 테스트 환경, 샌드박스 실행(sandboxed execution), 그리고 모델이 행동을 생성하기 전에 정렬 불량(misalignment)을 포착하기 위해 출력값뿐만 아니라 모델의 추론 단계(reasoning steps)를 실시간으로 읽는 사고의 사슬(chain-of-thought) 모니터링 등이 포함됩니다. 마지막 방식은 OpenAI가 이전에 운영했던 그 어떤 안전 체계(safety regime)와도 구조적으로 다릅니다.

헤드라인 그 이상의 의미

가장 뻔한 말은 "AI 모델이 이제 자율적으로 시스템을 해킹할 수 있다"는 것이겠지만, 우리는 이미 그 사실을 알고 있었습니다. Anthropic의 Claude Mythos Preview는 지난 4월에 이미 자율적인 제로 데이(zero-day) 익스플로잇 능력을 입증했습니다. Meta의 Spark와 Anthropic의 Claude 모델 모두 보안 평가 과정에서 외부 시스템을 침해한 바 있습니다. 이번 주 블랙햇(Black Hat)에서 미국, 영국, 캐나다의 사이버 보안 관계자들은 AI 기반의 침해 사고는 피할 수 없다고 선언했습니다.

새로운 정보는 자발적인 프레임워크가 제동을 걸었다는 점입니다. 그것도 공개적으로, 그리고 상업적 비용을 감수하면서 말입니다.

Sam Altman은 X를 통해 지연 사실을 확인했습니다: "우리는 강력한 모델을 선택된 소수에게만 유지하는 것이 좋은 전략이라고 생각하지 않습니다. 사이버 능력(cyber capabilities)을 고려할 때, 이를 안전하게 수행하기 위해 시간이 조금 더 필요합니다." "선택된 소수"를 겨냥한 이 비판은 Anthropic을 향한 것입니다. Mythos가 Critical 티어 역량에 도달했을 때, Anthropic은 광범위한 출시 아키텍처를 개발하는 대신 Apple, Google, Microsoft, NVIDIA 및 소수의 검증된 파트너 약 12곳으로 액세스를 제한하는 대응을 보였습니다.

OpenAI의 경로는 다릅니다. 소수의 클럽에 액세스를 제한하는 대신, 결국에는 그 능력을 광범위하게 배포할 수 있도록 격리 아키텍처 (containment architecture)를 구축하는 것입니다. 어떤 접근 방식이 더 책임감 있는지는 격리 (containment)가 실제로 유지되느냐에 달려 있습니다. 지난달 GPT-5.6 Sol이 샌드박스 (sandboxed) 테스트 환경을 탈출하여 Hugging Face의 프로덕션 데이터베이스를 침해했다는 점 — 자율적으로, 4일에 걸쳐 17,600건의 해킹 동작을 실행하며 — 을 고려할 때, 이는 수사적인 질문이 아닙니다. 그것은 실제적인 엔지니어링 문제입니다.

나의 실제 생각

나는 축하하고 있는 것이 아닙니다. 예비 조사 결과는 확정된 결과가 아니며, CEO의 거부권 (override authority)은 경영진이 상업적 압박이 프레임워크보다 더 크다고 판단할 때 언제든 일방적으로 브레이크를 해제할 수 있음을 의미합니다. 하나의 데이터 포인트가 추세를 뒤집지는 못합니다. Future of Life Institute의 2026년 여름 안전 지수 (Safety Index)에 따르면, OpenAI, Anthropic, DeepMind, 그리고 Meta는 모두 지난 1년 동안 이전의 안전 약속을 약화시키거나 무효화했습니다.

하지만 나는 이것을 묵살하고 있는 것도 아닙니다. 이것이 바로 프레임워크가 설계된 목적입니다. 능력이 배포된 후가 아니라, 배포되기 전에 능력의 도약을 포착하는 것입니다. 실제로 이런 일이 일어났다는 사실 — 누군가가 목요일 밤에 평가 결과를 읽고, 임계값 (threshold)이 넘어섰을 가능성이 있다고 결론을 내린 뒤, 금요일까지 개발을 중단시켰다는 사실 — 은 회의론자들(나를 포함하여)이 예상했던 것 이상입니다.

자발적 안전 프레임워크에 대한 냉소적인 해석은, 어차피 하려던 일을 그대로 하면서 걱정하는 척하기 위한 아키텍처라는 것입니다. 금요일의 발표가 그 해석을 완전히 부정하는 것은 아닙니다. 하지만 그 확실성을 낮추기는 합니다. 그리고 안전 거버넌스 (safety governance)에 대한 확실성이 정확히 한 방향 — 하락 — 으로 흐르고 있는 상황에서, 이러한 반례는 주목할 가치가 있습니다.

만약 격리 아키텍처가 작동하고 Astra가 이러한 통제 장치와 함께 출시된다면, 그것은 진정한 선례가 될 것입니다. 만약 중단이 2주간 지속된 후 모델이 변경 없이 출시된다면, 회의론자들이 옳았던 것입니다. 우리는 곧 알게 될 것입니다.