마이크로소프트의 나델라 CEO, 인간이 통제하는 AI '비상 브레이크' 필요성 강조

마이크로소프트(Microsoft) 회장 겸 CEO인 사티아 나델라(Satya Nadella)는 토요일에 첨단 인공지능 시스템을 격리(containment), 독립적인 제어 장치, 그리고 승인된 사람이 작업 중간에 모델을 일시 중지하거나 종료할 수 있는 "비상 브레이크"를 갖추어 구축해야 한다고 촉구했다.

나델라는 소셜 미디어 플랫폼 X에 올린 게시물에서 "우리는 비결정론적 모델(non-deterministic models)을 강력하고 결정론적인 시스템 설계(deterministic system design), 인간의 통제 장치, 그리고 신뢰할 수 있는 운영 절차로 둘러싸야 하며, 기존 표준이 불충분한 영역에서는 산업 표준을 확립해야 한다"고 썼다.

그는 "최첨단 폐쇄형 및 오픈 웨이트 모델(frontier closed and open weight models)을 내부자 위험(insider risks)처럼 취급하는 것이 그러한 시스템을 구축하는 방법 중 하나"라고 말했다.

나델라의 발언은 마이크로소프트 공동 창업자 빌 게이츠(Bill Gates), Anthropic CEO 다리오 아모데이(Dario Amodei), OpenAI CEO 샘 알트만(Sam Altman), SpaceX CEO 일론 머스크(Elon Musk)를 포함한 최고 기술 임원 및 연구원들로부터 AI 안전 프로토콜의 미흡함과 기술이 너무 빠르게 발전하고 있다는 주장이 나오는 가운데 나왔다.

한 AI 연구원이 지난달 Anthropic을 퇴사하며 해당 회사와 최대 경쟁사인 OpenAI가 "우리의 생명을 도박하는 것"이라고 비난했다. 같은 날, AI 안전에 초점을 맞춘 Anthropic의 정렬(alignment) 책임자는 향후 10년 이내에 기술이 "모든 인류를 죽일" 가능성이 10%를 넘는다고 말했다.

반면, 도널드 트럼프(Donald Trump) 대통령은 반복적으로 AI 멸종 위험을 일축했으며, 대신 업계가 중국보다 앞서 나가야 할 필요성을 강조했다. 트럼프는 또한 업계를 지원하고 악의적인 행위자를 근절하기 위해 국가정보국장 제이 클레이턴(Jay Clayton)이 이끄는 새로운 "AI 전력(AI Force)"을 최근 도입했다.

마이크로소프트의 나델라는 토요일에 AI 시스템은 "관측 가능성 원칙(principles of observability)"을 중심으로 설계되어야 한다고 썼다.

나델라는 모델 다양성(model diversity); 모델 행동에 대한 사람이 읽을 수 있는 흔적(human-readable footprint); 지속적인 시스템 테스트; 독립적인 제어 및 감사 가능성(auditability); 격리(containment); 그리고 사고 공개(incident disclosure)를 포함한다고 썼다.

그는 '우리가 가장 신뢰하는 모델을 가진 시스템이 가장 신뢰할 수 있는 슈퍼 인텔리전스 시스템이 아닐 것'이라며, '오히려 우리가 그 모델을 가장 적게 신뢰하도록 만드는 시스템일 것'이라고 썼다.