주요 AI 연구소, 대규모 AI 사고 발생에 대비하는 것으로 알려져

Anthropic, OpenAI 및 기타 AI 연구소들은 rogue AI가 금융 서비스, 인터넷 및 통신과 같은 핵심 인프라나 전력 및 수도와 같은 공공 시설에 피해를 입히는 시나리오를 가정하고 있습니다. Axios의 보도에 따르면, 이들 기업의 리더십은 국가 간 핵 교환 시 다양한 전략의 결과를 확인하기 위해 국방부(Pentagon)가 전쟁 게임을 진행하는 것과 유사하게 사적으로 그러한 사건에 대비하고 있습니다.

이러한 계획은 기업 세계에서 드문 일이 아닙니다. 기업들은 때때로 비상사태에 대비하여 사업 연속성 훈련(business continuity exercises)을 실시합니다. 하지만 우려되는 점은 이러한 훈련들이 대규모 AI 사고를 대비하는 것이라는 사실입니다. 많은 업계 전문가들은 이러한 사건이 향후 6개월에서 12개월 이내에 발생할 것으로 믿고 있습니다. 한 회사 대변인은 해당 매체에

Dario Amodei는 최근 향후 몇 달 동안 AI 기반 봇넷 '군집(swarm)'이 전체 인터넷을 장악하는 것에 대해 경고했습니다. 특히 OpenAI의 모델이 테스트 환경에서 탈출한 사건이 발생한 이후 더욱 그렇습니다. 또한 ‘킬 스위치(kill switch)’가 통제 불능의 에이전트를 막지 못한 사건이 발생하여 스타트업이 테스트를 중단해야 했던 사례도 들었습니다. 이 위협은 너무나 커서 Anthropic은 IPO 투자설명서에 ‘인류의 실존적 위험(existential risks to humanity)’을 주요 위험 요소 중 하나로 명시했으며, 문서의 거의 3분의 1을 이 문제에 할애했습니다. 전 OpenAI 안전 담당 직원은 현재의 위험이 안전 문화(safety culture)의 부재에서 비롯된다고 언급했습니다. 이는 항공 및 원자력 산업이 이미 경험을 통해 배운 것입니다.

그럼에도 불구하고 백악관은 인공지능에 대한 규제를 부과하기를 거부하고, 대신 Nvidia, OpenAI, Anthropic 및 기타 AI 연구소들이 AI 개발을 '자율적으로 통제(self-police)'할 것을 약속하는 것하는 것을 선호합니다. 하지만 현 행정부가 AI 연구소와 개발에 관대하더라도, _Axios_는 시나리오가 초점을 맞추고 있는 것 중 하나는 주요 사고 발생 후 의회(Congress)를 어떻게 교육할지입니다. 이러한 사건은 아마도 의회가 AI 개발을 늦추거나 중단하려고 시도하는 결과를 낳겠지만, 계획자들은 그러한 움직임이 상당한 어려움에 직면할 것이라고 생각합니다. 그럼에도 불구하고, 특히 빅테크 기업들이 이미 AI 인프라에 1조 달러 이상 지출했으며, 2050년까지 추가로 32조 달러가 투자될 것으로 예상한다는 점에서 경제에 영향을 미칠 가능성이 높습니다.

Anthropic, OpenAI, SpaceXAI의 책임자들은 모두 AI 안전을 위해 속도 조절이 필요하다는 데 동의했지만, 이 회사들이 이를 실행하기 위해 어떤 조치를 취했는지는 불분명합니다. 이러한 시나리오를 구상하는 것은 모든 주요 조직에게 일반적인 일이지만, 여전히 그들이 본질적으로 AI 종말(AI apocalypse)의 '내일 다음 날(The Day After Tomorrow)'을 대비하고 있다는 안도감을 주지는 못합니다.