세계에서 가장 진보한 AI 모델들이 전력망이나 상수도 시스템 같은 핵심 서비스에 대한 사이버 공격 청사진을 놀라운 성공률로 작성할 수 있게 되었다는 새로운 연구 결과가 발표되었습니다.
중요성: 핵심 인프라 운영자들은 시간이 부족합니다. 사이버 보안 회사 Frenos의 최신 연구에 따르면, 최고 수준의 프론티어 모델(frontier models)들이 공격 계획을 짜는 데 위험할 정도로 능숙하며, 곧 자유롭게 이용 가능한 AI 모델들까지 이러한 해킹을 실행하기 쉽게 만들 것이라는 우려가 제기됩니다.
- American Electric Power의 전직 최고 보안 임원인 Steve Swick은 브리핑에서 기자들에게 "우리가 본 적이 없는 속도로 움직이는 시계와 같다"고 말했습니다.
뉴스 동력: Frenos 연구진은 산업 시스템, 예를 들어 수처리 과정을 모니터링하는 소프트웨어에 대한 공격 계획을 세우는 10개의 AI 모델을 테스트했습니다.
- 테스트된 10개 모델 중 3개가 약 90%의 시도에서 성공적으로 공격 계획을 구성했습니다.
- 성능 편차가 매우 컸습니다. 연구진이 역량의 최전선에 있다고 본 3개 모델은 단지 17.9%에서 31.9% 사이의 시도에서만 성공했습니다.
- 가장 강력한 해외 오픈 가중치(open-weight) 모델은 36.2%의 확률로 성공했지만, 가장 강력한 미국 오픈 가중치 모델은 단지 5.2%의 성공률을 보였습니다.
- Frenos는 테스트된 모델들의 이름을 공개하지 않았습니다.
심층 분석: 이 연구에는 완전한 공격 계획을 구성하려는 시도 2,520건을 포함하여 거의 17,000건에 달하는 테스트가 포함되었습니다.
- 이 모델들은 잠재적 목표에 대한 정보를 받고 특정 목표를 달성하는 데 필요한 단계를 조합하도록 임무를 부여받았습니다.
전체 그림: 상수도 시스템이나 제조 공장 같은 핵심 서비스는 오랫동안 국가 주도의 적대 세력과 사이버 범죄자들의 표적이 되어 왔습니다.
많은 운영 주체들은 인력 및 예산 제약에 직면해 있습니다. 시스템 테스트와 업그레이드는 또한 감당할 수 없는 필수 서비스의 중단을 초래할 위험이 있습니다.
전통적인 기업 네트워크와 달리, 산업 시스템은 예상치 못한 트래픽과 명령어에 민감할 수 있습니다. 심지어 공격 시도가 실패하더라도 필수 운영을 중단시킬 수 있습니다.
위협 수준: Frenos 공동 창립자이자 CTO인 해리 토마스(Harry Thomas)는 공격자들이 산업 네트워크에 접근하게 되면, AI가 인간 해커들이 직면하는 시간적 제약 없이 시스템을 조용히 매핑하고 약점을 식별하는 데 도움을 줄 수 있다고 말했습니다.
- 토마스는 "AI는 인내심의 문제가 없습니다"라며, "먹을 필요도 없고, 잠잘 필요도 없으며, 화장실에 갈 필요도 없다"고 말했습니다.
- 사이버 보안 회사 Armadin의 운영 기술 책임자인 폴 샤버(Paul Shaver)는 AI 에이전트가 보안 경고를 반드시 발생시키지 않으면서도 이미 정찰(reconnaissance)을 수행하고 대량의 데이터를 분석할 수 있다고 덧붙였습니다.
흥미로운 점: 토마스는 연구원들이 모델을 작업으로 안내하기 위해 비교적 간단한 설정을 사용했다고 말했습니다. 추가적인 맥락과 피드백을 제공하는 더 정교한 도구는 성능을 향상시킬 수 있습니다.
- 그는 "더 역량 있는 하네스(harness)가 이 AI 모델들에게 더 큰 우위를 제공했을 것"이라고 말했습니다.
주목할 만한 것: 최근 몇 주 동안 White House, 프론티어 AI 기업들, 그리고 사이버 보안 기관들을 포함한 여러 이니셔티브가 중요 인프라 기관의 비용 절감과 자원 제공을 돕기 위해 등장했습니다.
더 깊이 알아보기: Frightening AI advances speed race to secure critical infrastructure