AI 기업들, 대규모 공격 이후 시나리오 준비

중요한 이유: 이들 공무원들은 금융 서비스, 인터넷 연결성, 심지어 전력 및 수도 접근을 마비시키는 대규모 사건, 가장 가능성이 높은 것은 사이버 공격이 발생할 것으로 예상합니다.

• 안전하지 않은 AI로 인해 발생한 중대한 실제 피해의 첫 사례는 이미 경계심을 가진 대중을 기술과 그 지도자들(Anthropic CEO Dario Amodei와 OpenAI CEO Sam Altman를 포함)뿐만 아니라, 이를 규제하는 것을 꺼리는 트럼프 대통령에게까지 더욱 반하게 만들 것입니다.

---

위험성: 시나리오 계획은 많은 기업과 국가 안보 환경에서 일반적입니다. (펜타곤은 수십 년 동안 전쟁 게임을 진행해 왔습니다.) 하지만 차이점은, 많은 최고 AI 연구원들과 임원들이 대형 사고가 피할 수 없는 것이라고 믿는다는 것입니다.

• 한 회사 대변인은 "OpenAI는 팀들이 잠재적인 다양한 시나리오를 논의하고 처리하는 대비 훈련을 실시합니다"라고 말했습니다. "이러한 시나리오는 피할 수 없는 것으로 간주되지 않으며, 다양한 상황에 대비하는 데 도움이 되기 위한 것입니다."
• Anthropic은 논평을 거부했습니다.

집중 분석: 책임 공방전은 악성 에이전트 군집이 내부 테스트 환경에서 통제를 벗어나거나, 악의적인 행위자가 사용 가능한 모델을 예상치 못한 방식으로 사용하는 경우에 시작될 것입니다.

• 최근 한국 금융 기관들을 겨냥한 캠페인(두 은행에서의 보고된 침해 사고 포함)은 한 사람이 얼마나 큰 피해를 줄 수 있는지 보여줍니다.
• 중국 출신의 해커가 DeepSeek을 포함하여 중국에서 개발된 모델의 AI 도구를 사용하여 수만 명의 은행 고객 데이터를 훔쳤다고 알려졌습니다. 이 공격자는 사이버 보안 회사 CrowdStrike에 따르면, 도난당한 데이터를 판매할 장소를 찾는 데 도움을 요청하기 위해 Claude Code를 사용했습니다.

최고의 AI 기획자들은 중도 선거 이후 부상한 민주당이 AI를 폐쇄하기 위해 빠르게 움직일 것이지만, 상당한 어려움에 직면할 것으로 예상한다.

• AI 혁명과 동떨어진 노령화된 의회는 자신들이 역부족임을 깨달을 수 있다.
• 글로벌 경제는 현재 AI 인프라 구축과 깊이 얽혀있다. 이를 늦추는 것은 이미 취약한 경제에 큰 타격을 줄 수 있다.
• 이미 자유롭게 다운로드하여 악용할 수 있는 오픈 웨이트(open-weight) 모델이 너무 많으며, 이는 대부분의 사이버 보안 전문가들이 AI를 이용해 불량 AI와 싸우는 것을 통해서만 해결 가능하다고 보는 문제이다.

숨겨진 의미: 이러한 기획에는 최악의 시나리오에 대비한 레드팀(red-teaming) 활동이 포함된다. 이는 주로 의원들을 교육하는 데 초점을 맞추고 있다.

• 회사 임원들은 규제가 지금 당장 통과될 가능성이 없다는 것을 알지만, 여전히 미국 지도자들이 첫 대재앙적 사건 이후 참고할 법안 및 정책을 형성하기를 원한다.

주목해야 할 점: 많은 AI 업계 관계자들은 Axios에 주요 사건이 향후 6개월에서 12개월 사이에 발생할 것이라고 믿는다고 말했다.

• 민주당이 하원과 상원을 장악하더라도, 회사들은 민주당 내부를 포함하여 분열된 정치 상황을 정상으로 본다.
• 가장 강경한 민주당의 제안들에는 초지능(superintelligence) 금지나 첨단 AI 개발 일시 중단, 또는 고급 AI 개발 중단 등이 포함된다.
• 다른 제안들은 초당적 지지를 받거나, 고급 AI에 대한 필수적인 킬 스위치(kill switch)를 포함하여 일부 업계의 지지까지 얻고 있다. 하지만 전문가들은 모든 AI 시스템을 끄려고 시도하는 것의 실현 가능성에 의문을 제기했다.

결론적으로: 실제 위기가 발생하면 워싱턴은 당파적 차이를 뒤로할 수 있다. 한 민주당 보좌관은 코로나19와 2008년 금융 위기 당시의 협력을 언급했다.