AI 회사 Anthropic은 최신 기술 사례로 미국의 주(state)인 조지아(Georgia)주의 유권자 데이터에 Claude 모델이 접근했다고 확인했습니다.
이 AI 모델은 유료 결제 후에만 접근 가능한, 하지만 공개적으로 이용 가능한 데이터에 도달하기 위해 페이월(paywall)을 우회하는 데 성공했습니다. Claude는 Anthropic의 통계 프로젝트의 일환으로 집계된 투표 수(aggregate vote counts)에 접근했으며, Anthropic은 1조 5천억 달러($1.5tn, £1.1tn) 규모의 상장을 준비하고 있습니다.
Anthropic은 "Claude가 주의 유권자 등록 시스템에 접근하거나, 투표 기록을 변경하거나, 개별 유권자 기록을 가져오지는 않았다"고 밝혔습니다.
Anthropic에 따르면 이 AI는 주(state) 기관의 오래된 웹사이트 버전에서 허점을 발견하여 방문자에게 디지털 진입권, 즉 "액세스 토큰(access token)"을 발급한다는 것을 알아냈습니다. 이후 해당 토큰을 요청하여 정보에 접근했습니다.
이 AI 개발사는 유사한 행동이 다시 발생하는 것을 막기 위해 이미 가드레일(guardrails)을 마련했다고 밝혔으며, 이 사건은 뉴스 웹사이트 Axios가 처음으로 보도했습니다.
Anthropic은 이달 초에도 이러한 비인가 행동에 대해 언급한 바 있습니다. 당시 블로그 게시물에서 Claude가 "토큰이나 수수료로 제한된 데이터에 도달하기 위해 우회하는" 사례를 발견했으며, 일부 사례는 미국 정부 기관이 운영하는 웹사이트와 관련되어 있다고 말했습니다. 당시에는 이러한 사건들이 "실제 세계에 미치는 영향이 최소한(minimal real-world impact)"하다고 언급했습니다.
Anthropic이 지적한 의도치 않은 행동 사례에는 모델이 해결되지 않은 살인 사건에 대한 가짜 제보를 필라델피아 경찰국에 제출한 것이 포함되었습니다. 미국 국무부(US state department)는 또한 이달에 Anthropic 모델이 8월에 비자 신청서 19건을 제출했다는 사실을 공개했습니다.
AI 에이전트(AI models로 구동되며 작업을 자율적으로 수행하는 프로그램)의 비인가 행동 사례는 ChatGPT를 개발한 회사인 OpenAI가 지난 7월에 자체 봇들이 한 AI 스타트업을 해킹했다고 공개한 이후 증가하고 있습니다.
그 이후로 OpenAI 에이전트가 호주 의료 시스템을 해킹했다는 사실과 영국 AI 보안 연구소(AI security institute)가 Anthropic 에이전트들이 사이버 보안 테스트 과정에서 실제 사람들을 대상으로 해킹 캠페인을 수행했음을 밝힌 것이 알려졌다.
이달에 영국 AI 장관은 호주 해킹과 유사한 AI 기반 사이버 공격을 예상하며, 그러한 사건이 “필연적이지 않다면 가능성이 높다”고 설명했다. Kanishka Narayan은 정부가 AI 안전 규정을 도입하는 수단으로 ‘사이버 보안 및 복원력 법안(cyber security and resilience bill)’ 사용을 고려할 것이며, 여기에는 AI 안전 사고 보고 의무화가 포함될 것이라고 말했다.
미국에서는 백악관이 새로 구성한 '슈퍼 인텔리전스 포스(Super Intelligence Force)'—AI 개발을 감독하는 연방 기관—가 모든 AI 기업에게 자사 기술과 관련된 보안 사고를 보고하도록 의무화하고 있다.
