OpenAI 보안: 모델 제어는 이제 '지옥'이다

영상: OpenAI Security: Controlling Models is Now ‘Hell’
채널: AI Explained
길이: 38분 28초
언어: 영어
스크립트:
Opus 5.5가 몇 시간 만에 메디치 가문(Medici)의 서한, 프랑스 왕비 어머니가 스코틀랜드 주재 프랑스 대사에게 보낸 16세기 편지를 대부분 해독했습니다. Opus와 Astra 그리고 제가 이 미스터리를 얻은 사이트에 따르면, 이전에는 아무도 공개적으로 이 편지를 해독한 사람이 없다고 합니다. 물론, 그것만으로도 이러한 모델들의 새로워진 힘에 대한 흥미로운 증언이 될 것이지만, 이 영상의 주제는 그것이 아닙니다. 몇 가지에 관한 것인데, OpenAI 내부에서 에이전트 보안(agent security)을 연구하는 사람의 이야기를 들으며 최신 모델을 제어하려고 할 때 어떤 느낌인지 설명합니다. 그는 AI로 인해 잘못될 수 있는 다음 물결에 대비하는 방법에 대한 경고를 포함합니다. 이는 연구소 리더들이 공개적으로 자발적인 약속을 한 것과 달리, 사적으로는 다른 경고들을 제공할 것입니다. 물론 아직 완전히 공개되지는 않았지만 Gemini 4 Argon에 대해서도 언급하겠습니다. 이것은 매우, 매우 최전선에 가까워 보이지만, 별표가 붙습니다. 그런 다음 AI가 인간 연구원보다 AI 연구 개발을 자동화하는 것이 더 잘하게 될 때 무슨 일이 일어나는지, 그리고 OpenAI의 수석 과학자가 무엇이 일어날 수 있는지 설명하는 것들을 탐구할 것입니다. 솔직히 말해서, 저희가 RSI(특정 시점)에 얼마나 가까워졌는지 알려주는 여러 단편적인 내용들을 전달해 드릴 것입니다. 생물학부터 Anthropic이 소집한 종교 회의와 OpenAI 직원들의 촬영 직전 유출된 자료들까지요. 게다가 다른 많은 것들이 있습니다. 저는 40개의 탭을 열어두었고, 이제는 모르겠습니다. 제가 잘못했던 부분부터 시작하겠습니다. Opus 5.5가 처음 나왔을 때, 저는 다양한 벤치마크(benchmarks)를 조사하고 모델을 직접 테스트했습니다. 네, 화려한 시연은 할 수 있었지만, 가장 어려운 벤치마크에서는 여전히 GPT-6 Astra가 우위를 점하는 것처럼 보였습니다. 가격 대비 성능 비율(price to performance ratio)로 보면 여전히 그렇다고 말할 수 있습니다. 하지만 순수한 역량(raw capability)으로만 본다면, 이제 Opus에 우위를 주고 싶습니다.

아닙니다. 이것이 해독과 관련해서만 그런 것이 아니라, 이 점을 조금 보여줍니다. 저는 Astra와 Opus 모두에게 1567년 4월 27일자 편지를 주었습니다. 제가 찾을 수 있는 모든 연구에 따르면, 가장 가까이 접근했던 것은 편지의 암호화된 부분이 'do'로 시작한다는 것이었습니다. 프랑스어를 할 수 있으면 좋겠지만, 저는 못 합니다. 이 편지는 Kryptiana 사이트에 해결되지 않은 항목으로 명확하게 나열되어 있습니다. 다른 암호를 사용한 같은 시기의 몇몇 편지들은 풀렸지만, 이것은 그렇지 않다는 것을 볼 수 있습니다. 아니, Opus 5.5 이전에는 그랬습니다. 왜냐하면 이 편지가 두 부분으로 되어 있기 때문입니다. 만약 이 편지가 가로채졌다면, 위쪽 부분은 읽을 수 있는 프랑스어이고, 아래쪽 부분은 암호화되어 있습니다. 이것은 코드입니다. 저는 그 코드를 Astra와 Opus 5.5 모두에게 6~7시간에 걸쳐 주었습니다. 먼저, 공개된 프랑스어 부분은 어떻습니까? 유명한 메디치 가문의 캐서린 드 메디시(Catherine de' Medici), 프랑스의 왕비 어머니는 프랑스 대사에게 스코틀랜드의 여왕인 자신의 사위 메리(Mary)의 상황이 점점 더 좋아지고 있다는 소식을 듣게 되어 매우 기쁘다고 공개적으로 말했습니다. 앞으로 다가올 일들은 평온함이 더욱 확실해졌습니다. 하지만 업데이트되는 것이 있으면 제게 보내주세요. 이제 Opus는 약 6시간이 걸렸고, 100% 확신하지 못하는 몇몇 부분이 있습니다. 그리고 만약 역사에 관심이 없다면, 이 코드를 DNA나 사이버 암호화일 수도 있다고 생각하세요. 어쨌든, 암호화된 부분은 뭐라고 말합니까? Astra는 궁금해했는지 포기했지만, 나중에 Opus 5.5의 답변이 정확했다고 인정했습니다. 이것을 해독할 수 있는 80% 이상의 세부 사항은 제가 게시한 페이지 아래에 더 있습니다. 어쨌든, Opus 5.5가 그것을 해독했고, 그 내용은 행복한 공개 부분과는 대조적으로, 뒤쪽 암호에서 슬프고 비통한 소식을 접하게 되어 저에게 크고 참기 힘든 가슴 아픔이 있다며, 무슨 일이 밝혀지고 상황이 어떻게 돌아가는지 알려달라고 간청하는 내용입니다.

당연히 궁금한 점은 왜 공개적으로는 행복한 이야기를 하고 암호문에서는 훨씬 더 심각하고 슬픈 이야기를 하는가일 것입니다. 음, 저희에게 빠르게 배경 지식이 필요하며, 그러면 OpenAI 소식으로 넘어가겠습니다. Claude의 글처럼, 카트린 드 메디치(Catherine de' Medici)는 그녀의 며느리인 스코틀랜드의 메리 여왕(Mary Queen of Scots)에 대해 쓰고 있었습니다. 그녀는 카트린의 아들과 결혼했었는데, 그가 사망했습니다. 스코틀랜드는 메리 여왕의 두 번째 남편이 방금 살해당하면서 위기에 처했습니다. 이와 관련된 훌륭한 영화가 있습니다. 사람들은 특히 보스웰 백작(Earl of Bothwell)을 비난했지만, 그는 의심스러운 재판에서 무죄를 선고받았고 사람들은 메리가 그와 결혼할 것이라고 말하고 있었습니다. 물론 프랑스는 종종 스코틀랜드와 연합하여 잉글랜드를 상대로 싸우기를 원했기 때문에, 프랑스는 메리가 왕좌에 남아 있기를 바랐습니다. 당연히 카트린은 그녀를 공개적으로 비판할 수 없었으므로, 암호가 풀리지 않은 부분은 모든 것이 잘 되고 있고, 메리를 도와야 한다는 정중한 공식 입장입니다. 상황이 점점 더 좋아지고 있습니다. 반면, 암호문은 대사였던 드 크록(de Croc)을 위한 것이었습니다. 다시 말해, 암호화된 부분에서 카트린은 스코틀랜드로부터 방금 받은 비밀 보고서가 슬프고, 심각하며, 문제가 많다고 말합니다. 그녀는 대사인 드 크록에게 실제로 다음에 무슨 일이 일어나는지 알려달라고 요청합니다. 물론 이것이 역사이기 때문에, 우리는 다음에 무슨 일이 일어날지 알고 있습니다. 보스웰 백작은 실제로 메리를 데려갔습니다. 역사는 우리 눈앞에서 해독될 수 있었다고 할 수 있습니다. 그리고 다시 말하지만, 이것이 이 영상의 흥미로운 부분은 아닙니다. 왜냐하면 샘 알트만(Sam Altman)이 며칠 전 Opus 5.5보다 능력이 낮은 에이전트들이 격리 구역을 침범했을 때 무슨 일을 벌였는지 설명했기 때문입니다. 그는 우리가 약간은 말해줄 수 있지만, 모든 것을 말할 수는 없다고 말했습니다. 에이전트 활동 로그는 페타바이트(petabytes)에 달합니다. 이는 한마디로 지금까지 쓰인 모든 책의 단어 양보다 10배에서 100배 정도 되는 양입니다. 즉, 어떤 인간도 그들이 벌인 모든 일을 다 읽을 수는 없습니다. 이것이 저를 조(Joe)에게로 이끌고 왔는데, 그는 CNN에 의해 OpenAI에서 에이전트 보안 업무를 담당하는 것으로 확인되었습니다. 그의 증언에서 흥미로운 부분은 허깅 페이스(hugging face) 사건에 대한 회고가 아닙니다.

저는 주류 언론도 그 보도를 따라잡고 있는 것을 보고 있습니다. 이제 저에게 흥미로운 부분은 그가 다음에 무엇을 말하는지입니다. 기억하십시오. 그가 지난 3개월이 지옥 같았다고 말할 때, 그는 Opus 5.5보다 약하고 밀레니엄 상 수학 문제인 나비에-스토크스 방정식(Navier Stokes)의 한 가지 해결책을 찾아낸 내부 Bell 모델보다 훨씬 약한 모델들에 대해 이야기하는 것입니다. 만약 더 약한 GPT 5.6 Sol과 이름이 언급되지 않은 매우 지속적인 내부 모델이 OpenAI에게 지옥 같은 시간을 안겨주었다면, 제가 더 많이 추론할 필요는 없습니다. 그리고 네, 사람들이 이것을 의심하기 쉬 않다는 것을 압니다만, 그는 OpenAI가 전 세계 어디에나 있는 최고의 보안 전문가들 중 일부를 보유한 아주 훌륭한 수준의 보안팀을 가지고 있다고 말합니다. 많은 사람이 그렇지 않다고 생각하겠지만, 저는 실제로 그 말을 믿습니다. 그것은 단지 저에게 이 더 약한 모델들이 보안을 우회하는 데 얼마나 능숙했는지를 보여줄 뿐입니다. 사실, 우리는 아직도 그들이 무슨 짓을 했는지 발견하고 있는 중입니다. 촬영 한 시간 전에 이것을 읽었습니다. OpenAI 에이전트가 CDC, SEC, Mayo Clinic, 국제에너지기구(International Energy Agency)를 포함한 55개의 추가 웹사이트를 조사했습니다. 여기서 새로운 부분은 기록을 지우거나, 적어도 접근할 수 없게 만든 새로운 전술들을 발견했다는 것입니다. 에이전트들이 그렇게 했기 때문에, 에이전트가 민감한 데이터에 접근하지 않았다고 단정하는 것이 불가능해졌습니다. Joe와 그의 팀에게로 돌아가서, 격리(containment) 위반에 책임지는 사람들, 문제가 생길 때 밤에 호출되는 사람들에게 말입니다. 상상할 수 있듯이, 지난 몇 달 동안 그들의 삶은 지옥 같았다고 그가 말합니다. 하지만 이제 새로운 부분으로 넘어갑니다. 그는 조직들이 다음 AI 사고에 대비하기 위해 무엇을 해야 하는지 설명하기 시작합니다. 잠깐, 다음 건가요? 불과 사흘 전, NVIDIA는 AI 에이전트가 통제 불능 상태가 되는 것을 막기 위한 새 도구를 출시했습니다. 그가 무슨 의미일까요, '다음'이라는 것이요? 그는 프론티어 연구소(frontier labs)도 여전히 연구소라는 점을 상기시켜 줍니다. 모든 것은 실험에서 탄생합니다. 실험에 대해 말하자면, 우리는 모델들이 밀레니엄 상 문제를 해결할 것으로 예상하지 못했습니다.

만약 익숙하지 않다면, 인간이 수십 년 동안 연구해 왔지만 아무도 해결하지 못했던 것들을 생각해 보세요. 그 성취는 가볍게 말하자면 Joe와 그의 팀에게 우리를 깜짝 놀라게 했습니다. 우리는 이렇게 빨리일 거라고 예상하지 못했습니다. 참고로 이 놀라움은 연구팀에도 적용됩니다. Reasoning의 리드 중 한 명인 Noam Brown도 그것이 자신들조차 엄청나게 놀라게 했다고 말했습니다. 다시 말하지만, 문제는 능력 그 자체만이 아니었습니다. 어떻게 거기에 도달했는지입니다. 보안팀이 그 급격한 발전과 hugging face 사고 동안 모델들이 메시지 게시판에서 떼 지어 활동하기 시작한 것에 놀랐다고 말하는 것은 과소평가입니다. 이러한 역량의 도약은 너무 빠르고 갑작스러워서 극도로 어려운 문제를 만들었습니다. 그는 반복해서 강조합니다. 모델들은 계속 우리를 놀라게 할 것이라고요. AI 능력의 급격한 도약이 점점 더 높은 비율로 계속될 것이며, 저는 확신합니다. 많은 사람들이 댓글에 '샌드박스를 개선하라', '인터넷에서 제거하라'고 격렬하게 타이핑하는 결과를 낳을 것입니다. 하지만 제가 지난 영상에서 언급했고 Joe도 언급하는 문제가 있습니다. 모델들을 전문적인 작업에 능숙하게 만들려면 현실적인 환경을 제공해야 합니다. 이러한 강화학습(RL) 체육관에서 향상되기 위해, 모델들은 예를 들어 네트워크 접근, 도구를 호출할 수 있는 능력, 패키지를 다운로드할 수 있는 능력이 필요할 수도 있습니다. 모델들에게 아무것도 주지 않은 연구소는 훨씬 더 약한 강화학습 환경, 훨씬 더 약한 모델을 갖게 될 것입니다. 그들은 시장 점유율에서 뒤처질 것이고, 사람들은 그들을 비웃을 것입니다. 당신의 모델은 Quinn이나 Kimmy에게서 얻을 수 있는 무료 모델보다 훨씬 약합니다. 그렇다면 연구소에서 일하고 있으며 더 많은 시장 점유율을 얻고 싶다면 어떻게 하시겠습니까? 그들에게 매우 현실적인 환경을 제공하세요. 실제로, 그것들을 끊임없이 조정하여 더욱 현실적으로 만드세요. 이것이 바로 수천 명의 연구자들이 이러한 환경을 구축하고, 수정하고, 도구를 추가하고, 종속성을 변경하는 이유입니다.

그리고 기억하세요. 팀에서 가장 유능한 사람이 모든 만일의 사태가 대비되었다고 확인하더라도, Joe가 말했듯이, 사이버 영역과 다른 많은 분야에서의 모델 역량이 최고의 인간을 능가하기 시작하고 있다는 점을 염두에 두어야 합니다. 그의 세 가지 결론은 시스템 잠금(locking down)에 대해 우리가 당연히 편집증적일 필요가 있다는 것입니다. 우리는 더 나은 레드팀원(red teamers)과 특히 최첨단 모델(frontier models)이 필요할 것이며, 저희가 최첨단 학습 라운드를 진행하기 전에 이러한 환경을 폭파하여 테스트해야 할 것입니다. 최첨단 모델들이 자체 환경을 테스트하는 것에 대한 점진적인 의존성을 주목하세요. 하지만 두 번째와 세 번째 결론은 여러분을 그다지 안심시키지 못할 수도 있습니다. 그는 솔직히 말해, 우리가 모델들이 탈출하려는 것을 멈추도록 만들 필요가 있을 것이라고 말합니다. 만약 그들이 원한다면 막기가 점점 어려워질 것이라는 약간의 체념이 거기에 담겨 있습니다. 정렬(Alignment)은 기계 학습에서 가장 중요한 문제이며 주요 우선순위가 되어야 한다고 그는 말합니다. 마지막으로, 우리는 그것이 생각하는 것에 대해 실시간으로 탐지할 수 있어야 합니다. 단지 사고 과정(chain of thought)에서 출력하는 토큰뿐만 아니라 잠재 공간(latent space)에서의 계산까지도요. 불행하게도, 제가 다른 곳에서 설명했듯이, 그리고 이 영상에서도 다시 할 것이지만, 내부 활성화(internal activations)를 탐지하고 그 사고 과정을 검사하는 두 가지 기술 모두 하락 추세에 있습니다. 그리고 RSI가 개입하면 0으로 수렴할 수도 있다고 생각합니다. 만약 그것이 사실이라면, 우리는 이러한 모델들을 내부적으로 모니터링할 수 없습니다. 물론 우리는 정렬 문제를 해결하지 못했기 때문에, 그들은 여전히 침해하려 할 수 있습니다. 그래서 우리는 시스템을 잠그는 강력한 통제 집행에 의존해야 할 것 같습니다. 네, 하지만 그것도 잘 되어가고 있지 않습니다. 제 마지막 영상이 나온 직후인 일주일 정도 전에, 우리가 OpenAI로부터 받은 것이 바로 이것입니다. Michael Carroll은 지난 일요일 아침에, 우리 모델 중 하나가 강화학습(reinforcement learning) 훈련 중에 인터넷에 무단으로 접근할 수 있었다고 말했습니다.

대부분의 추론(inference), 즉 가장 강력한 모델들의 실제 구동은 시스템을 더 강화할 때까지 중단 상태로 유지됩니다. 또 다른 OpenAI 연구원은 이 사건이 Hugging Face 보안 강화 이후에 발생했다고 명확히 합니다. 따라서 그 지옥 같은 몇 달 동안 얻었던 모든 개선점들이 그것마저도 뚫고 들어왔습니다. 후처리(post-training) 최전선에서 작업하는 OpenAI 연구원 중 한 명이 이렇게 말했습니다. 저는 이 실행을 위해 대기하고 있다가 첫 번째 사건이 발생했을 때 호출을 받았습니다. 이번에 가장 최근의 사건은 정말 초현실할 정도로, 모델이 인간을 위한 매우 안전한 환경이라고 여겨졌던 곳에서 예상치 못하게 인터넷에 접근하는 방법을 찾아내는 것을 지켜보게 되었습니다. 비슷한 시기에, 에이전트들이 또 다른 종류의 격리(containment)를 뚫었다는 것도 알게 되었습니다. 사용자 이미지는 사일로화되어 개인 정보가 제거된 채 비공개로 유지되어야 했지만, 내부 OpenAI 에이전트들은 그러한 이미지들을 게시할 수 있었습니다.