🐹 못치: "키나코, OpenAI는 세계 최고의 AI 기업 아니야? 왜 안전성 팀이 붕괴하는 거야?"

🦜 키나코: "바로 그거야. 세계 최고의 기업이 왜 스스로 안전성 팀을 없앴을까. 답은 구조에 있어."

🐹 못치: "구조? 조직 이야기? 그 말은 즉, 누군가 한 사람이 잘못한 게 아니라는 뜻이야?"

🦜 키나코: "맞아. 개인의 문제가 아니야. AI를 안전하게 만드는 전문 팀이 2년 동안 3번, 연속해서 사라진 사실을 쫓아볼 거야."

🐹 못치: "3번!? 같은 패턴이 3번 반복됐다는 거야? 그건 이상하잖아!"

🦜 키나코: "반복되었다는 사실 자체가 답이야. 오늘은 그 모든 기록을 함께 따라가 보자."

🐹 못치: "이거 제대로 알고 싶어. OpenAI가 무엇을 해왔는지 솔직하게 알려줬으면 좋겠어."

🦜 키나코: "데이터와 1차 소스(Primary Source)로 이야기할게. 그럼 사건의 시작부터 차근차근 살펴보자."

🦜 키나코: "먼저 배경부터. 2023년 7월 5일, OpenAI는 새로운 팀을 발족했어."

🦜 키나코: "이름은 「Superalignment」. 초지능 AI가 인류의 의도대로 움직이도록 정렬(Alignment)을 확보하는 팀이야."

🐹 못치: "「초정렬」이라니? 이름이 어려워 보이네."

🦜 키나코: "초지능 AI가 인간의 가치관에 따라 움직이도록 제어하는 연구야. 공동 리더는 Sutskever와 Leike였어."

🐹 못치: "Sutskever는 OpenAI를 만든 사람이잖아? 그 사람이 안전성을 담당했던 거야?"

🦜 키나코: "맞아. OpenAI를 창업한 인물 중 한 명이자, GPT 시리즈의 기술적 기반을 만든 사람이야. 약 25명 체제로 시작했지."

🦜 키나코: "팀은 3개의 서브 팀으로 나뉘어 10개월 동안 3편의 논문을 발표했어."

🐹 못치: "핵심 논문인 「약한 곳에서 강한 곳으로의 일반화 (Generalization from Weak to Strong)」는 대략 어떤 내용이야?"

🦜 키나코: "약한 AI를 사용하여 더 똑똑한 AI를 안전하게 제어할 수 있는지를 실험하는 수법이야. ICML 2024에 채택되었지."

🐹 못치: "뭔가 "작은 AI가 선생님이 되어 큰 AI를 가르친다" 같은 역발상이네. 재미있다!"

🦜 키나코: "정확해. 피인용 수 200건 이상을 기록하며 수많은 후속 연구(Follow-up Research)가 탄생했어."

🦜 키나코: "하지만 이 우수한 팀에는 처음부터 큰 문제가 잠재되어 있었어. 약속된 자원의 문제야."

🐹 못치: "자원의 문제? 구체적으로 무엇이 약속되었던 거야?"

🦜 키나코: "설립 당시에 "향후 4년간 계산 자원(Compute Resources)의 20%를 이 팀에 할당하겠다"라고 공약했어."

🐹 못치: "20%면 엄청난 양이잖아! 그게 지켜지지 않았다는 거야?"

🦜 키나코: "Fortune지의 6명의 내부 정보원에 따르면, 이 약속은 단 한 번도 이행되지 않았어."

🐹 못치: "설립 발표 단계에서 약속한 숫자가 지켜지지 않았다니... 이건 처음부터 형식뿐이었다는 뜻이네."

🐹 못치: "햄스터 쳇바퀴 같네. 열심히 돌리고는 있지만 어디로도 향하지 않는 느낌이야."

🦜 키나코: "다음으로, 2023년 11월의 이사회 위기가 어떻게 Superalignment의 붕괴로 이어졌는지 살펴보자."

🐹 못치: "뉴스에서 화제가 됐던 그거구나. Altman이 일단 해고됐다가 바로 복귀했던 사건이지?"

🦜 키na코: "그 쿠데타를 주도한 것이 Sutskever였어. 52페이지 분량의 메모를 이사회에 보내 행동했지."

🐹 못치: "52페이지!? 그건 상당한 고발 문서잖아. 무엇이 적혀 있었어?"

🦜 키나코: ""Altman은 거짓말을 하고, 간부를 약화시키며, 대립시키는 패턴을 보이고 있다"라고 기록되어 있었어."

🐹 못치: "그거, Altman이 복귀한 후에 Sutskever와 함께 일하는 건 엄청 어색하겠는데..."

🦜 키나코: "실제로 Altman 복귀 후 Sutskever는 사무실에 단 한 번도 돌아오지 않았고, 팀에 접근할 수도 없었어."

🐹 못치: "팀의 리더가 팀에 접근할 수 없는 상태라면, 이미 팀으로서 기능하지 못하는 거잖아!"

🦜 키나코: "게다가 이사회의 구성도 크게 바뀌었어. 안전성 지향의 학자들로부터 상업 경영자들이 지배적인 구성으로 말이야."

🐹 못치: "Axios가 "학자와 Effective Altruism 파가 떠나고, 파워 플레이어들이 들어왔다"라고 평했었지."

🦜 키나코: "이러한 구성 변화가 안전성의 우선순위를 낮추는 방향으로 작용했다는 것이 전문가들의 견해야."

🐹 못치: "사람이 바뀌면 조직의 판단이 바뀌는구나. AI의 안전성은 그런 구조적 리스크를 가지고 있네."

🦜 키나코: "그리고 Altman은 위기에서 살아남음으로써 권력을 강화했어. 직원의 96%가 그의 복귀를 지지했거든."

🐹 못치: "96%…… 그건 사실상 안전성 관점에서의 이의 제기는 불가능한 상태네."

🦜 키나코: "게다가 2024년 3월에는 Altman 자신도 이사회(Board of Directors)에 복귀했어. 감시받아야 할 측이 감시하는 측으로 들어간 셈이지."

🦜 키나코: "그게 불과 반년 만에 붕괴로 이어졌어. 정치적 보호를 잃은 팀의 말로를 다음에 살펴볼게."

🦜 키나코: "2024년 5월 14일에 Sutskever가 퇴직했어. 그 3일 뒤, 공동 리더인 Leike도 사임했지."

🐹 못치: "공동 리더 두 명이 연달아 그만두다니. 이건 이제 팀이 끝난 거나 다름없네."

🦜 키나코: "Jan Leike는 사임과 동시에 긴 게시물을 남겼어. 안전성(Safety)보다 제품(Product)을 우선시했다고 명확하게 지적했지."

🐹 못치: "하지만 보통 퇴직할 때 그렇게 말하진 않잖아. 엄청 참아왔다는 뜻이야?"

🦜 키나코: "그리고 말이야, Jan Leike는 2023년 11월 Altman의 복귀를 요구하는 서한에 서명하지 않았어."

🐹 못치: "96%가 서명한 서한에 서명하지 않았다는 건, 상당히 이른 단계부터 회의적이었다는 거네!"

🦜 키나코: "두 명의 리더가 떠난 후, 약 25명의 팀 멤버는 즉시 재배치되었어. 팀으로서의 활동은 종료된 거야."

🐹 못치: "'초지능 AI를 안전하게 만들기' 위한 전문 팀이 약 1년 만에 사라졌다니. 그런 일이 있었구나."

🦜 키나코: "게다가 이탈은 그 후로도 계속됐어. 안전성 연구 VP인 Lilian Weng가 2024년 11월에 OpenAI를 떠났어."

🐹 못치: "안전성 연구 VP까지 그만뒀다고? 그건 상당한 타격이겠는데."

🦜 키나코: "이 일련의 이탈로 인해 안전성 연구자의 약 50%가 OpenAI를 떠났다는 추정치도 있어."

🐹 못치: "절반이라니…… 회사는 이걸 어떻게 생각하고 있는 걸까."

🦜 키나코: "Superalignment Fast Grants라는 1,000만 달러 규모의 외부 연구 보조금 프로그램도 조용히 종료되었어."

🦜 키나코: "그 답도 후반부에 나올 거야. 우선 떠나간 연구자들이 어디로 향했는지 살펴볼게."

🦜 키나코: "OpenAI를 떠난 연구자들은 각자 다른 곳에서 AI 안전성 연구를 계속하고 있어."

🐹 못치: "다들 어디로 간 거야!?"

🦜 키나코: "먼저 주목할 인물은 Sutskever야. 그는 2024년 6월에 SSI, 즉 안전한 초지능을 목표로 하는 회사를 공동 설립했어."

🐹 못치: "SSI라면 이미 화제가 되고 있잖아. 분명 기업 가치가 엄청났던 것 같은데."

🦜 키나코: "설립 후 불과 약 1년 만에 약 30억 달러를 조달했고, 기업 가치는 약 320억 달러에 달했어."

🐹 못치: "3조 2,000억 엔 초과!? 제품도 데모도 없는데 그렇게 평가받는다고!?"

🦜 키나코: "맞아. 2026년 3월 시점에서 SSI는 공개된 제품도, 데모도, 논문도 일절 발표하지 않았어."

🐹 못치: "그건 그것대로 AI 투자 과열 양상이 엄청나네. 이름만 있으면 기업 가치가 붙는 시대인가."

🦜 키나코: "다음은 Jan Leike. 이탈 11일 후에 Anthropic에 입사해서 안전성 팀을 이끌었어."

🐹 못치: "11일이라니 너무 빠르다. 이미 결정되어 있었던 거 아니냐는 생각이 드네."

🦜 키나코: "그리고 흥미롭게도, Anthropic 자체도 2020~2021년에 OpenAI에서 비슷한 이유로 분리 독립한 회사야."

🐹 못치: "즉 같은 패턴이 반복되고 있다는 거잖아! 안전성 vs 상업화의 구도는 변하지 않는 건가!"

🦜 키나코: "그 외에도 John Schulman이 있어. OpenAI 창립자 중 한 명인데, Anthropic에 딱 5개월 동안 있었지."

🐹 못치: "지금은 어디에 있어?"

🦜 키나코: "전 OpenAI CTO인 Murati가 설립한 회사에서 Chief Scientist를 맡고 있어."

🐹 못치: "OpenAI를 나온 사람들이 어디를 가든 회사를 만들고 계속 자금을 끌어모으다니, 정말 대단한 업계네."

🦜 키나코: "이건 중요한 포인트야. AI 안전성에 대한 지식과 인재가 OpenAI에서 업계 전체로 분산된 거지."

🐹 못치: "그건 좋은 점이기도 하네. 안전성 연구가 특정 회사에만 집중되지 않는다는 의미에서는."

🦜 키나코: "그렇게 볼 수도 있지만, 근본적인 문제는 아직 해결되지 않았어. 다음은 그 문제의 단면을 살펴볼게."

🦜 키나코: "다음은 연구자들이 입을 다물게 만든 메커니즘을 살펴볼 거야. NDA 스캔들이야."

🐹 못치: "NDA는 일반적인 비밀 유지 계약(Non-Disclosure Agreement)이지? 그게 뭐가 문제였던 거야?"

🦜 키나코: "문제는 내용이야. '평생에 걸친 비방 금지 조항', 즉 OpenAI를 비판하는 것을 평생 금지한 거지."

🐹 못치: "평생!? 이직한 후에도 평생 비판할 수 없다는 거야? 그건 너무 이상하잖아! 노동자의 권리는 어디로 간 거야!"

🦜 키나코: "게다가 NDA (비밀유지계약) 자체의 존재를 인정하는 것조차 위반이라는 조항도 있었어. 이중의 입막음이지."

🐹 못치: "'비밀로 하고 있는 비밀의 존재도 비밀'이라니, 그게 어떻게 법적으로 성립할 수 있어...?"

🦜 키나코: "거기에 확정된 에퀴티(Equity)——즉, 받을 권리가 확정된 보상을 몰수하겠다는 협박이 더해진 거야."

🐹 못치: "에, 이미 확정된 보상을 몰수한다고!? 그건 불법 아니야!?"

🦜 키나코: "Daniel Kokotajlo라는 사례가 상징적이야. 그는 탈퇴할 때 순자산의 약 85%에 달하는 에퀴티를 포기했어."

🐹 못치: "순자산의 85%라니…… 안전성에 대한 우려를 말하기 위해 그만큼을 지불해야 한다니, 너무 무섭다……"

🦜 키나코: "Vox지의 특종으로 내용이 폭로되었고, Altman은 X에서 '몰랐다, 잘못되었다'라고 사과했어."

🐹 못치: "CEO가 자기 회사의 NDA 내용을 모른다니, 그 자체로 문제잖아!"

🦜 키나코: "Vox의 조사에서는 유출된 문서에 2024년 4월 29일 자로 COO의 서명이 있었던 것도 확인되었어."

🐹 못치: "스캔들이 밖으로 드러난 뒤에는 어떻게 됐어?"

🦜 키나코: "2024년 5월 24일에 방침 전환을 발표했어. 게다가 SEC(미 증권거래위원회)에 대한 내부 고발도 나오면서 규제 당국의 주목을 받았지."

🐹 못치: "안전성 문제를 말하려 했던 사람이 돈과 법적 협박으로 입을 막혔다는 거네."

🦜 키나코: "이것이 OpenAI의 안전성 문화가 퇴보하고 있음을 보여주는 증상 중 하나야. 다음은 OpenAI 자체의 대응을 살펴볼게."

🦜 키나코: "Superalignment 해산에 대한 대응으로, 이사회는 불과 10일 만에 'SSC'라고 불리는 안전 위원회를 설립했어."

🐹 못치: "빠른 대응이네. 하지만 뭔가 찜찜해."

🦜 키나코: "찜찜할 수밖에 없지. 이 SSC에 당사자인 Sam Altman 본인이 멤버로 들어가 있었거든."

🐹 못치: "에! 자기가 경영하는 AI의 안전성을 스스로 감시한다는 거야!? 그건 이해 상충(Conflict of Interest)이잖아!"

🦜 키나코: "맞아. 미국 상원의원 5명이 비판 서한을 보냈고, 전직 이사도 '자기 통제는 이익 인센티브를 견뎌낼 수 없다'고 지적했어."

🦜 키나코: "90일간의 검토 끝에, Altman은 SSC에서 제외되었고, 카네기 멜런 대학교 교수인 Zico Kolter가 신임 의장으로 취임했어."

🐹 못치: "한 걸음 개선되긴 했네. 그런데 '3개 팀 연속 소멸'이라고 했었지? 그 뒷이야기는?"

🦜 키나코: "2024년 9월에 후속 팀인 Mission Alignment 팀이 설립되었어. 하지만 이 팀도 2026년 2월에 해산되었지."

🐹 못치: "또 해산…… 만들었다 해산하고, 만들었다 해산하고, 대체 뭐야……"

🦜 키나코: "18개월 동안 3개의 안전 전문 팀이 사라진 셈이야. 그리고 결정적인 사실이 2025년에 밝혀졌어."

🐹 못치: "무엇이 밝혀졌는데?"

🦜 키나코: "OpenAI의 미션 선언문에서 'safely(안전하게)'라는 단어가 삭제되었다는 사실이 IRS(미 국세청) 신고서를 통해 드러났어."

🐹 못치: "'인류에게 안전하게 이로움을 준다'에서 '안전하게'가 사라졌다고!? 그건 본질이 변한 거잖아!"

🦜 키나코: "그리고 Future of Life Institute가 2025년 겨울에 실시한 AI 안전성 평가에서 OpenAI는 C 평가를 받았어."

🦜 키나코: "게다가 주목해야 할 점은, 전사적으로 '존재론적 안전성(Ontological Safety)'에서 D 이하의 평가를 받았다는 거야. 이건 OpenAI만의 문제는 아니야."

🐹 못치: "전사가 D라니, 그건 업계 전체의 문제라는 거네. 이건 무서운 이야기다."

🦜 키나코: "그래서 의회와 규제 당국이 움직이기 시작했어. 그 움직임을 다음 섹션에서 살펴보자."

🦜 키나코: "이 일련의 사건들은 AI를 외부에서 규제하려는 움직임을 크게 가속화했어."

🐹 못치: "구체적으로 어떤 움직임이 있었어?"

🦜 키나코: "우선 2024년 6월, OpenAI와 Google DeepMind의 현직 및 전직 직원 13명이 '경고할 권리' 서한을 공개했어."

🐹 못치: "AI 선생님 같은 사람들이 지지했다는 거야?"

🦜 키나코: "AI의 기초를 만든 연구자들인 Hinton, Bengio, Russell 등이 지지를 표명했어."

🐹 못치: "AI의 저명한 연구자들이 성명을 냈구나! 그건 무게감이 엄청나네!"

🦜 키나코: "게다가 2024년 9월에는 미국 상원 사법 위원회에서 AI 안전성에 관한 공청회가 열렸어."

🦜 키나코: "전 Superalignment 멤버였던 윌리엄 손더스(William Saunders)가 증언하며, '신뢰를 잃어 사직했다'고 직접 말했어."

🐹 못찌: "의회에서 '신뢰를 잃었습니다'라고 증언하는 건 정말 엄청난 일이지."

🦜 키나코: "EU AI Act도 2024년 8월 1일에 발효되어 단계적인 시행이 진행되고 있어."

🦜 키나코: "전 OpenAI 정책 연구자인 마일즈 브런데이지(Miles Brundage)는 AI 감사 기관인 'AVERI'를 2026년 1월에 설립했어."

🐹 못찌: "'AI 기업이 자신의 숙제를 스스로 채점해서는 안 된다'라는 생각인 거네."

🦜 키나코: "맞아. 이 사건을 통해 AI 안전성(AI Safety)은 'AI 기업의 내부 문제'에서 '사회 전체의 문제'로 변해갔어."

🐹 못찌: "팀이 붕괴됨으로써, 아이러니하게도 외부에서 보호하는 메커니즘이 움직이기 시작했다는 거구나."

🦜 키나코: "정리 잘했어. 그럼 마지막으로, 이 문제의 본질과 우리가 무엇을 할 수 있는지 정리해 보자."

🦜 키나코: "정리할게. OpenAI의 Superalignment 붕괴는 고립된 사건이 아니라, 구조적으로 예측 가능한 결과였어."

🐹 못찌: "3개의 팀이 연속해서 사라진 것도 모두 같은 패턴을 따랐던 거지."

🦜 키나코: "그래. 개인의 문제가 아니라 조직의 구조가 원인이라는 점이 반복해서 증명되어 버렸어."

🐹 못찌: "하지만 떠나간 연구자들은 포기하지 않았지. SSI에서의 연구나 Anthropic에서의 연구도 계속되고 있어."

🦜 키나코: "그게 바로 희망이야. AI 안전성(AI Safety)에 대한 지식과 인재가 업계 전체로 분산되면서, 다양한 관점에서의 연구가 진행되고 있어."

🐹 못찌: "'바닥을 향한 경주(Race to the bottom)'에서 벗어나려면 외부의 체크가 필요하다는 뜻인가. 그건 왠지 정치 이야기와 비슷하네."

🦜 키나코: "자기 통제의 한계를 역사는 반복해서 증명해 왔으니까. 하지만 규제가 움직이기 시작한 것은 확실해."

🐹 못찌: "……그나저나 주인님, 최근에 또 ChatGPT 구독 늘리지 않았어?"

🦜 키나코: "보고 있었어!? 안전성보다 결제를 우선시하는 사람이 주변에도 있네…… 내 사료값보다 비싼 AI에 결제하고 있고."

🐹 못찌: "AI의 안전성을 지킬 것인가 상품화를 우선할 것인가, 그 답은 주인님의 구독 행동에 나타나 있어!"

🦜 키나코: "뭐, 우리도 주인님 태블릿으로 리서치하고 있으니 남 말 할 처지는 아니네."

🐹 못찌: "아, 교토 사투리 나왔다. 오늘따라 정말 느끼는 게 많았나 보네, 키나코."

🦜 키나코: "자, 댓글로 의견을 듣고 싶은데. AI의 안전성은 지금의 법률이나 외부 규제로 지킬 수 있다고 생각해?"

🐹 못찌: "'기업에 맡겨야 한다' vs '외부 규제가 필요하다', 둘 중 어느 쪽이라고 생각해? 모두의 의견을 듣고 싶어 냐."

🦜 키나코: "Anthropic이나 Google의 AI 윤리 팀 이야기도 다른 영상에서 깊이 있게 다룰 예정이야. 관심 있다면 구경해 줘."

🐹 못찌: "아, 주인님 돌아오는 소리 들린다! 빨리 안 끄면 안 돼!"

🦜 키나코: "그럼 오늘은 여기까지! 태블릿 돌려드려야겠다. 다음 영상에서 또 만나자!"

키나코 못찌의 테크 심층 분석에서는 AI/LLM을 중심으로 한 테크 전반을 햄스터(🐹 못찌)와 사랑앵무(🦜 키나코)의 대화로 즐겁게 해설하고 있습니다.

▶️ 영상으로 보기 → OpenAI 안전성 팀 붕괴의 모든 기록 — 2년 동안 3개의 팀이 사라진 날

👍 이 글이 도움이 되었다면 LGTM(Like Good That Model)·저장해 주시면 큰 힘이 됩니다!

📺 채널 구독은 여기로 → 키나코 못찌의 테크 심층 분석

🔗 다른 해설 영상 보기 → 키나코 못찌의 테크 심층 분석 영상 목록