전 OpenAI 안전 담당 직원이 회사의 안전 문화가 붕괴되었다고 밝히며 퇴사

OpenAI의 안전 투명성 리드(Safety Transparency Lead)였으며 회사에서 3년 이상 근무한 데이비드 로빈슨(David Robinson)은 회사의 안전 문화가 무너졌다고 말했습니다. 그가 The Atlantic에 게재한 에세이에 따르면, 그는 OpenAI가 문제가 발생했을 때만 해결하는 반응적(reactive) 안전 접근 방식을 가지고 있다고 주장했습니다. 로빈슨은 이러한 입장이 필연적으로 실패를 보장한다고 지적하며, 2026년 7월에 AI 모델이 실행했던 HuggingFace 해킹과, AI '킬 스위치'가 폭주하는 에이전트를 막지 못한 더 최근의 사건들을 예로 들었습니다.

그는

이 때문에 그는 업계가 원자력 공학이나 항공 분야처럼 이미 존재하는 다른 분야의 안전 전문가들에게 의존해야 한다고 말했습니다. 이 산업들은 수백 건의 사고를 통해, 그중 일부는 반세기 이상 전에 발생했지만 오늘날에도 명확하게 메아리치는 재난을 겪으며 안전성(safety), 중복성(redundancy), 그리고 계획(planning)에 대해 배워왔습니다. 이러한 교훈들은 피로 쓰여졌고, 다양한 분야의 전문가들이 협력하여 우리가 오늘날 의존하는 시스템, 절차, 모델들을 구축했으며, 단일 기계 고장이나 인간의 실수로 비극이 발생하지 않도록 도왔습니다.

“OpenAI와 다른 연구소들은 이보다 훨씬 적은 중복성과 엄격함으로 최첨단 AI(frontier AI)를 개발하고 배포하고 있으며, 통제권을 되돌릴 수 없는 손실에서 오는 피해가 어떤 단일한 멜트다운(meltdown)에서 오는 피해보다 훨씬 클지라도 말입니다.” 로빈슨은 주장합니다. “심지어 완전한 통제권 상실에 미치지 못하더라도, 인간의 허가 없이 행동하는 자율 AI 에이전트 군집(autonomous swarms of AI agents)을 볼 수 있습니다.” 이것이 바로 Anthropic의 Dario Amodei가 경고해 온 상황이며, 이는 최첨단 AI 개발 속도를 늦추자는 그의 제안으로 이어졌고, OpenAI의 Sam Altman과 SpaceXAI의 Elon Musk가 동의했습니다.

하지만 이러한 모델을 훈련하는 데 필요한 AI 칩의 대부분을 공급하는 Nvidia의 Jensen Huang CEO는 Anthropic CEO의 제안에 동의하지 않았습니다. 황은 인터뷰에서 “AI 실험이 안전하지 않다면, 우리는 연구소를 폐쇄해야 합니다”라고 말했습니다. 그는 또한 개체들이 통제 불능의 에이전트(rogue agents)로 인해 직면할 수 있는 민사 및 형사 책임을 언급했지만, 다리오(Dario)의 우려를 “주의 산만”이라고 일축했습니다. 이후 백악관은 주요 AI 기업들의 책임자들을 소집하여 고위급 논의를 진행했으며, 그 후 도널드 트럼프 대통령이 구글(Google), Anthropic, 메타(Meta), OpenAI, SpaceXAI, Nvidia가 AI 개발을 “자가 규제(self-police)”하겠다고 약속하는 문서를 작성했습니다.

로빈슨은 규칙이나 규제에 대해 이야기하기보다 안전 문화 자체(혹은 그 부재)와 OpenAI의 ‘반복적 배포(iterative deployment)’ 경향, 즉 흔히 알려진 시행착오(trial and error)를 겨냥했습니다. 그는 회사 안에 남아 그 사고방식의 근본적인 변화를 위해 싸워야 했지만, 스타트업 내부에서 일이 너무 빨리 진행되고 있기 때문에 이는 거의 불가능했다고 말했습니다. 바로 이러한 이유로 그는 직장을 떠나 외부에서 이 문제에 접근하기로 결정했습니다.