OpenAI 안전 책임자 사임, AI 기업 문화 '파괴적'이라 경고

OpenAI의 한 안전 책임자가 회사를 떠나면서, 그곳의 문화가 파괴되었으며 AI 기업들이 기술 개발에 대해 “충분히 신중하지 않다”고 경고했다.

ChatGPT 개발사의 제품 출시를 수반하는 안전 보고서 작성 업무를 이끌었던 David Robinson은 “OpenAI의 문화가 파괴되었기 때문에 회사를 떠난다”는 제목의 에세이를 통해 사임 이유를 설명했다.

Robinson은 최첨단 AI 기업들에 문화적 개혁이 필요하며, OpenAI 에이전트들의 ‘군집(swarm)’이 인간 감독 없이 자율적으로 작동하는 AI 프로그램으로서 AI 스타트업 Hugging Face를 공격했던 사건 같은 일들이 “사람들이 활동하는 속도와 유연성을 고려할 때 업계의 전형적인 모습”이라고 썼다.

The Atlantic 매거진에 글을 쓴 Robinson은 다음과 같이 썼다. “이 기술을 구축하는 회사들이 충분히 신중하지 않다는 최근 퇴사한 다른 직원들과 의견이 일치합니다. 하지만 저는 특정 규칙이나 새로운 법보다 더 깊이 살펴봐야 한다고 믿습니다. 우리는 문화에 대해 이야기해야 합니다.”

OpenAI의 개발 속도와 관련하여 그는 “회사가 한 출시에서 다음 출시로 질주하면서, 제가 필요하다고 생각하는 수준의 주의를 기울이는 데 실패하고 있다”고 썼다.

하지만 OpenAI는 Hugging Face 사건과 자체 테스트 중 안전 우려가 제기되어 100개 이상의 조직에 악성 에이전트 활동을 통보했다는 사실 이후 최근 몇 주 동안 신중한 모습을 보여왔다. 이번 주에는 연구원들이 내부 테스트 중에 안전 문제를 제기하자 차세대 AI 모델 출시를 취소한다고 발표했다. OpenAI는 또한 가장 진보된 모델의 훈련도 일시 중단했다.

OpenAI와 DeepMind에서 근무하다가 Resolution의 최고 과학자가 된 Geoffrey Irving 역시 토요일에 AI에 대한 경고에 동참했다.

Time 매거진에 글을 쓰면서 그는 “AI의 잠재적인 파괴력에 관한 최근 경고들은 상황의 심각성을 과소평가하고 있다”고 말했다.

로빈슨은 또한 경쟁사인 Anthropic의 연구원인 Jacob Coxon이 지난달 Claude 챗봇 개발사에서 사임한 것에 대해서도 언급했다. 그는 AI가 “이번 세기 말까지 우리 모두를 죽일 수 있다”고 경고했으며, 이후 Anthropic은 향후 10년 이내에 AI가 인류를 전멸시킬 가능성이 10%를 넘는다고 경고하는 글을 게재했다. 그러나 이러한 경고들에 대한 비판론자들은 그러한 주장이 검증되거나 반증될 수 없기 때문에 비과학적이라고 주의를 주었다.

로빈슨은 실리콘밸리가 “위험한 기술을 어떻게 다루는지”와 “사람들을 돌본다는 것이 무엇을 의미하는지”에 대한 인식이 부족하다고 썼다. OpenAI가 발생하는 문제들을 해결하는 것에 대해 “제한 없는 낙관론”을 가지고 있다고 경고하며, 그는 이러한 내부 문화는 시스템이 더 강력해질수록 안전 실패가 커질 것임을 지적했다.

로빈슨은 “팀의 해커들처럼 작동하지만 잠잘 필요가 없는 ‘불량’ 에이전트들을 상상해보라 (예를 들어, 병원 컴퓨터 시스템을 인질로 잡는 경우)”라고 썼다.

로빈슨은 두 가지 안전 변화를 촉구했다. 첫째, AI 기업들이 원자력 및 항공과 같은 다른 분야의 안전 전문 지식을 활용해야 하며, 둘째, 강력한 미래 시스템이 자율적으로 작동할 때 제어될 수 있도록 보장하는 “새로운 과학”을 개발해야 한다고 했다.

그는 “오늘날의 위험성을 고려할 때, 최첨단 연구소들은 간헐적이고 피할 수 없는 인간의 실수가 재앙으로 이어지는 문을 열지 않도록, 다중화(redundancy)와 신중하고 시간이 많이 걸리는 계획이 필요한 원자력 발전소나 분주한 공항처럼 운영되어야 한다”고 썼다.

OpenAI 대변인은 회사가 “오늘날 우리가 목격하는 위험에 대응하기 위해 안전 및 보안 관행을 강화하고 있다”면서, 미래 AI 혁신으로 인해 발생할 수 있는 위험들을 다루는 작업도 진행 중이라고 밝혔다.

대변인은 “우리는 모델들이 우리가 안전하게 관리하고 보호할 수 있는 수준보다 더 능력을 갖추지 않도록 하고 있으며, 속도를 늦춰야 할 필요가 있을 때는 학습을 일시 중단하거나 모델 출시를 보류한다”고 말했다.