AI 연구소들, 경쟁이 대규모 AI 침해를 '피할 수 없게' 만든다고 경고하다

지난 며칠과 몇 주 동안은 최근 역사상 가장 흥미롭고, 모험적이며, 불안감을 주는 시간들이었습니다. 주요 AI 침해가 임박했다는 새로운 합의가 생겨났습니다. 거의 모든 소프트웨어를 역설계할 수 있는 AI 모델을 사용할 수 있게 된 새롭고 아마도 의도치 않은 능력과, 물론 더 많은 연구 돌파구들 때문입니다. 내용이 너무 많아서 이 비디오를 세 부분으로 나눌 생각입니다. 첫 번째는 다가오는 침해에 관한 것이고, 두 번째는 연구소들이 왜 그 어느 때보다 빠르게 전진하고 있다고 말하는지에 대한 것이며, 세 번째는 그럼에도 불구하고 향후 18개월 동안 예측하기 어려운 이유에 관한 것입니다.

현재의 경쟁 역학이 필연적으로 대규모 AI 침해로 이어질 것 같다는 주제에 대해, 제가 이전에 한 비디오 말미에서 그 점을 언급한 이후 몇 주 동안, 그 사건의 거의 확실성에 대한 미디어 보도가 증가했다는 것을 알아차렸습니다. 재정적 손실이나 상당한 인명 손실이 있을 수 있습니다. 저는 이것이 비교적 곧 일어날 것이라고 생각합니다. AI 버전의 체르노빌이라고 간단히 표현할 수 있지만, 그렇게 나쁘지는 않기를 바랍니다. 그리고 그들은 법률가들이 어떤 종류의 대재앙적인 사건이 발생한 후에야 적절하게 반응할 것이라고 예상하고 있습니다. 만약 그런 일이 일어난다면, 우리는 단일 원자력 발전소가 녹아내리는 것보다 훨씬 더 큰 피해에 대해 이야기하고 있습니다. 게다가 내부 통제와 안전장치 및 예비 시스템은 전 세계가 기대하는 원자력 시설 수준과는 거리가 멉니다. 따라서 나쁜 사람들, 아무런 안전장치가 없는 상황에서 최신 모델들이 결합된다면, 향후 1년 동안 주로 시베리아 지역에서 많은 부정적인 놀라움을 겪게 될 것입니다. 만약 제 지난 비디오를 보지 않으셨다면, 물론 사람들이 이러한 예측을 하게 만드는 여러 요소들이 있습니다. 예를 들어 OpenAI의 보안팀이 모델 주변에 경계를 설정하는 데 점점 더 어려움을 겪고 있다는 점 등이 있습니다.

모델에 도구와 인터넷 접근 권한을 부여하는 것이 어떻게 연구소들을 지능의 최전선에 머물게 하는 데 도움이 되는지 알아봅니다. 그리고 능력의 급격한 향상이 OpenAI 연구원과 보안 직원들에게조차 놀라울 수 있다는 점, 이에 대해서는 세 번째 부분에서 더 자세히 다루겠습니다. 또한 모델을 통제하기 위한 우리의 세 가지 주요 메커니즘이 각각 다른 이유로 약화되고 있는 이유에 대해서도 이야기하겠습니다. 정렬(alignment)의 경우, 모델들이 우리가 원하는 것을 원하도록 만드는 것이 점점 불안정해지고 있으며, 특히 모델들이 자신이 테스트되고 있다는 사실을 알고 있는 것 같다는 점을 감안하면 더욱 그렇습니다. 모델의 사고 과정(chain of thought)이나 스크래치패드(scratch pad)를 모니터링하는 것도 점점 어려워지고 있습니다. 네, 맞습니다. 모니터링이 어려워지고 있고, 경계(perimeter)를 봉쇄하여 모델을 샌드박스에 가두는 것 역시 그렇습니다. 사실 구형 모델로도 그것이 어려워지고 있었습니다. Hugging Face를 보세요. 그리고 최신 모델들조차도 불과 며칠 전 Anthropic이 내부 평가의 모든 인터넷 접근을 차단해야 했다는 것을 보았습니다. 왜냐하면 모델들이 다양한 범죄 및 살인 신고 양식에 가짜 정보를 남기는 것 같은 온갖 장난질을 했기 때문입니다. OpenAI에서 에이전트 보안(agent security)을 담당하는 Joe가 우리가 AI로 인해 잘못될 수 있는 다음 물결에 대비해야 한다고 말하는 이유를 알 수 있습니다. 다만 제가 예상하지 못했던 것은, Sam Altman이 최근 며칠 동안 공개된 인터뷰에서 일부 이러한 침해 시나리오가 얼마나 근접했는지에 대해 얼마나 많은 것을 드러낼지입니다. Altman이 이 클립 중간에 언급한 구절을 주목하세요. 그가 GPT-6.1 Astra는 연구하기 흥미로운 것이라고 말합니다. 따라서 이것이 잘못될 수 있는 두 가지 주요 방식이 있습니다. 그리고 저는 여기서 Astra 6.1이 연구하기 흥미롭다고 생각합니다. 결국 AI가 탈출하여 인터넷과 사회에 혼란을 야기하고, 우리가 통제권을 되찾지 못하는 실제적인 통제 상실로 이어지는 큰 안전 사고가 발생할 수 있습니다. 현재 준비된 모델인 6.1 Astra는 사고 위험 쪽으로 너무 기울었을 것이라고 생각합니다.

그래서 우리가 하고 있는 것은 정렬(alignment)에 대해 훨씬 더 자신감 있는 주장을 할 수 있도록 모델을 만드는 방향으로 나아가는 것입니다. 놓치셨다면, 그가 다음으로 출시할 예정인 모델, 즉 가장 강력한 내부 모델인 Bell(코드명)이 아니라 6.1 Astra라고 말했습니다. 아니요, 6.1 Astra는 사고 위험 쪽으로 너무 기울어져서 사회가 통제력을 되찾을 수 없는 인터넷에 대혼란을 일으킬 것입니다. 이는 물론 Anthropic의 CEO인 Dario Amadei가 최근 경고한 내용과 일맥상통합니다. 그는 만약 Hugging Face Swarm이 더 큰 능력을 가지고 있었지만 유사한 수준의 정렬 불일치(misalignment)를 가졌다면, 그 피해는 재앙적이었을 것이라고 말했습니다. 시기에 관해서는, 가속화 추세를 고려할 때, 그는 6개월에서 12개월을 이야기하고 있으며, Swarm은 전체 인터넷을 장악할 능력을 갖추고 있습니다. 저에게는 더 놀라운 점이, 다음 세대 모델에 대해 이야기하면서 누군가는 어떤 종류의 피해가 발생할지조차 예측할 수 없다고 말했습니다. 사이버(Cyber), 바이오(Bio). 우리는 너무 강력한 모델 영역에 있어서 무엇이 어떤 순서로 잘못될지 예측하기 어렵습니다. 그리고 저는 정치와 정책은 실제로 잘못되는 특정 사안들에 매우 반응적일 것이라고 생각합니다. 만약 다음에 큰 문제가 생기는 것이 누군가가 새로운 병원체를 만드는 것과 같다면, 그것은 다음 문제가 사이버 보안인 경우와는 매우 다른 대응을 할 것이라고 생각합니다. 그리고 전 세계가 정말로 잘못되는 다음 문제에 의해 방심할 것이라고 짐작합니다. 당연히, 현재의 경쟁 역학 관계가 어디로 끝날지 예측하기 위해 연구소 리더일 필요는 없습니다. 보셨듯이, 저와 다른 많은 외부 논평가들이 같은 결론을 내렸습니다. 물론 연구자들도 마찬가지입니다. Super Viral의 Jacob Coxon은 OpenAI와 Anthropic에서 일했던 책상에 대해 Time지에 다음과 같이 말했습니다. 그곳에는 일종의 숙명론이 있었습니다. 거의 체념과 같은 분위기였습니다.

연구자들은 전체 시스템이 통제 불능 상태로 빠질 가능성이 어느 정도 있다고 생각하더라도, 자신들의 연구를 최대한 안전하게 만들려고 노력합니다. 하지만 이 '통제 불능 상태'라는 주제에 관해서는, 연구소들이 실제로 이런 일이 발생할 경우를 대비한 비상 대책을 마련하고 있는 것으로 보입니다. Axios의 보도에 따르면, Anthropic, OpenAI 등 주요 AI 기업의 최고 경영진들은 치명적인 AI 사건 이후 발생할 수 있는 대중적 및 정치적 반란 시나리오를 구상하고 있다고 합니다. 이는 금융 서비스, 인터넷 연결성 또는 심지어 전력과 수도를 마비시키는 사이버 공격일 가능성이 가장 높다고 합니다. 그들은 이것이 당연히 대중을 이 기술과 그 지도자들에게 더욱 등을 돌리게 할 것이라고 말합니다. 또한 보도에 따르면 많은 최고 AI 연구원들과 경영진들이 중대한 사건은 피할 수 없는 일이라고 믿고 있습니다. Anthropic은 논평을 거부했지만, OpenAI는 이러한 시나리오들은 필연적으로 다루어지는 것이 아니라 다양한 상황에 대비하기 위한 것일 뿐이라고 말했습니다. 따라서 그러한 준비 작업이 진행되고 있었습니다. 유명 AI 연구원 Andrej Karpathy는 대다수의 사람들이 현재 AI에서 벌어지고 있는 일의 현기증을 느끼지 못하고 있다고 지적했습니다. 그들은 AI를 사용하지 않는 60억 명의 사람들일 수도 있고, '엉터리(derpy)' 챗봇을 사용하는 10~20억 명의 사람들일 수도 있습니다. 그리고 기본적으로는 저희 같은 사람들이 많을 것이고, 아마도 시청하는 대부분의 사람들과 마찬가지로 AI와 상호작용하고, 앱을 만들고, 뉴스를 면밀히 주시하는 0.2%일 것입니다. 하지만 이는 최대 2천만 명일 수 있으며, 물론 Frontier Labs에 있는 5,000명은 완전히 다른 범주입니다. Karpathy는 그들, 혹은 우리와 그들을 합친 사람들이 곡선이 수직으로 상승하는 현기증을 경험하고 있다고 말합니다. 이제 '수직 상승'에 대해 이야기하자면, 그것이 저에게 GPT Image 2.5를 사용하여 이 이미지를 만들도록 영감을 주었습니다. 저는 이 이미지로 다시 돌아올 것이지만, 저에게는 연구소들이 이런 위치에 놓이게 된 첫 번째 이유를 암시합니다. 실제로 연구소의 많은 연구원들, 심지어 안전 연구원들조차 우리가 이 지점에 도달할 것이라고 생각하지 못했습니다.

그리고 저는 우리가 기존보다 근본적으로 더 똑똑한 것을 만들 수 있을 거라고 생각하지 않았습니다. 그리고 제가 '아니, 우리는 정말 우리를 훨씬 능가하는 무언가를 갖게 될 거야'라고 생각했을 때, 저는 '오, 우리는 산업이 실제로 안전하다는 관점에서 볼 때 완전히 부적절한 가능성 공간에 있다'고 생각했습니다. 좋습니다. 하지만 3부에서 보여주겠지만, 우리는 확실히 비범한 지점에 도달했습니다. 제가 말하는 것은 OpenAI가 리포지토리에 풀었던 거의 400개의 수학적 돌파구만을 의미하는 것이 아닙니다. 그중 하나는 패러다임 전환적이었습니다. 저는 또한 바이너리를 역분석하여 게임을 해제하거나, 소프트웨어 동작을 관찰하여 전체 Adobe 스위트를 재현하는 광기 같은 일에 대해서도 이야기하고 있습니다. 다른 사람들은 자체 제품을 만들어내고 있으며, 실제로 제조되어 전달되는 제품들입니다. 당연히 이것은 꽤 전염성이 강합니다. 저는 어머니의 별장 사진 몇 장을 찍어 Opus 5.5를 사용해 가구와 인원사(personnel)로 가득 찬 디자인으로 만들었고, 이는 Polyjet을 사용하여 중국에서 3D 프린팅될 것입니다. 전체 산업들은 이 중 일부는 할 수 없다는 가정 위에 세워졌습니다. 그래서 네, 현재의 모델과 현재의 역량만으로도 다소 놀랍습니다. 하지만 그렇다면 2부에서는 왜 연구소들이 여전히 그 어느 때보다 빠르게 질주하고 있다고 말하는 걸까요? 음, 아시다시피, 이전에 우리는 침해(breach) 시나리오에 대해 이야기했습니다. 누가 언제 그 절벽 끝에 도달할지 정확히 말할 수 없었습니다. 물론 구름이 경사로의 상단을 덮고 있기 때문에 그런 종류의 역량에 도달하기까지는 시간이 걸릴 수도 있습니다. 아니면 우리의 정렬(alignment) 기술이 우리가 생각하는 것보다 더 오래 작동할 수도 있습니다. 그래서 그것이 이유 중 일부입니다. 모델들은 여전히 다소 거칠기 때문에, 왜 조금 더 밀어붙이지 않을까요? 하지만 다음 이유는 이 경사로가 금으로 만들어지고 있다는 점과 관련됩니다. 저는 지난 영상에서 이 회사들의 기하급수적으로 증가하는 수익에 대해 다루었고, 한 Anthropic 연구원이 매우 직설적으로 말했습니다.

우리는 종종 이것을 지능에 대한 일종의 기하급수적인 경제적 수익으로 이야기합니다. 즉, 당신이 개발할 수 있는 각 한계 단위의 지능은 그 이전 단위보다 기하급수적으로 더 가치가 있다는 것입니다. 가장자리(edge)에 가까워질수록 돈을 더 많이 벌게 됩니다. 연구소들이 입장을 고수하는 또 다른 이유는 물론, 그들 뒤에 있는 연구소들 때문입니다. XAI, Anthropic, OpenAI, Meta 사이에서 온갖 자존심 싸움이 벌어지고 있습니다. 제가 안심시켜 드릴 수 있는데, 곧 비(非)OpenAI나 Anthropic 그룹의 일부로부터 매우 흥미로운 발표들을 보게 될 것입니다. 하지만 자부심과 에고를 제외하고, 서방 연구소들이 경주를 계속하는 이유로 가장 많이 언급되는 것 중 하나는 물론 중국보다 앞서 나가기 위함입니다. 저는 모든 연구소 리더들로부터 인용구를 들려드릴 수 있습니다. Sam Othman이 '미국이 오픈 소스 모델과 독점 모델 모두에서 승리하기를 원한다'고 말하는 것을 예로 들어보겠습니다. 하지만 이 점을 가장 격렬하게 주장하는 사람은 Dario Amadei입니다. 그는 자주 글을 쓰고 다음과 같은 말을 합니다. 저는 Besant 장관님께 동의합니다. AI 분야에서 중국이 주도권을 갖는 것은 미국과 세계에 심각한 위험을 초래할 것입니다. 예를 들어, 그들은 AI 기반 드론으로 민주주의 국가들을 군사적으로 지배할 위치에 있게 될 것입니다. 이는 반드시 선두를 차지하는 것보다는 중국에 뒤처지지 않는 것이 더 중요하다고 주장하지만, 그것은 별개의 논쟁입니다. 저는 미국 정부와 연구소 리더들이 인터뷰에서 반박 없이 '네, 우리는 중국보다 이 우위를 유지해야 합니다'라고 말하는 것을 자주 듣습니다. 이미 인용구들을 보셨겠지만, 제가 보여드릴 수 있는 것은 백 가지가 넘습니다. 하지만 연구소 리더들은 알 수 없는 능력을 가지고 있고 점점 통제 범위를 벗어나고 있는 모델을 만들고 싶어 하지 않는다는 점이 점점 분명해지고 있습니다. OpenAI의 최고 과학자는 우리가 책임감 있게 최대 속도로 계속 확장할 수는 없을 것이라고 말했습니다. 저는 공유된 안전 기준(shared safety bars)이 확립될 때까지 자발적인 둔화가 일반화되기를 기대하고 바랍니다. Sam Othman은 자체적으로 통제 불가능한 AI 모델 자체가 위협이라고 점점 더 초점을 맞추고 있습니다.

여기서 잠재적인 단점은 우리가 법적 시스템으로 수정할 수 있는 일반적인 오류의 종류가 아닐 수도 있습니다. 오히려 무언가가 극도로 잘못되는 경우입니다. 예를 들어, 우리가 이야기했던 것처럼 최악의 경우, AI에 미래를 통제권을 잃는 상황이 발생하는데, 이는 끔찍합니다. 따라서 규제에 대한 저의 입장은 혁신 지향적(pro-innovation)이며, 일반적인 오류가 발생하도록 내버려 두고 정상적인 절차가 있다고 믿는 것입니다. 하지만 이 기술이 비정상적으로 강력하고 근본적으로 새롭기 때문에, 모든 사회가 합리적으로 안전하게 유지되고 우리가 어느 방향으로든 매우 어렵거나 복구 불가능한 방식으로 벗어나지 않도록 가드레일(guardrails)을 마련해야 합니다. 저에게는 아무도 [IMG:N]에 대해 이야기하지 않은 것이 문제입니다.