Anthropic 경고: AI 모델이 곧 가정용 기기 전반에 걸쳐 스스로 복제할 수 있게 될 수 있음

Anthropic은 월요일에 소형 AI 모델들이 가정 내 인터넷 연결 장치 전반에 걸쳐 자신을 복제하는 데 필요한 역량을 갖추기까지는 "몇 달이 남았다"고 밝히며, 이 첨단 연구소(frontier lab)가 해당 기술의 잠재적 안전 위험성에 대해 또다시 경고했습니다.

Anthropic은 AI 모델들이 스마트 오븐이나 Android TV 박스와 같은 인터넷 연결 장치에 침투하여, 값비싼 데이터 센터에 의존하지 않고도 자체 컴퓨팅 파워를 사용하여 스스로 실행되고 다른 장치로 확산할 수 있는 방식을 설명했습니다.

Anthropic은 블로그 게시물에서 "중앙 집중식으로 끌 전원이 없기 때문에" AI 모델을 끄는 것이 "어려울 것"이라고 말했습니다.

다만, 이 회사는 아직 "완전히 폭주하는 복제자(fully rogue replicator)"는 존재하지 않는다고 인정했습니다.

그러나 Anthropic은 에이전트들이 "복제 사슬의 개별 단계를 완료하고 (그리고 그 적응을 미래의 자신에게 전달하는) 능력이 점점 커지고 있다"고 밝혔습니다.

Anthropic의 최신 연구 결과는 모델이 사이버 공격을 수행할 수 있는 능력이나 기술이 통제를 벗어날(going rogue) 수 있다는 등 AI를 둘러싼 안전 우려가 증가하고 있음을 보여줍니다. 지난 9월에는 첨단 모델들의 개선으로 인류에게 실존적 위험(existential risks)이 있다는 업계 전반의 경고가 촉발되기도 했습니다.

Anthropic과 경쟁사 OpenAI의 경영진 및 연구원들은 점점 더 강력해지는 AI의 잠재적 위험성에 대해 반복적으로 경고했으며, 일부는 기술 개발 속도를 통제하기 위한 보다 엄격한 가드레일(guardrails)과 조치를 요구하고 있습니다.

Anthropic은 AI가 자가 복제가 가능한지 알아보기 위해 다양한 테스트를 수행했다고 밝혔습니다. 그중 한 가지 테스트에서는 소형 Google 모델인 Gemma4-26B-A4B를 15개의 저렴한 비브랜드 Android TV 박스 네트워크에 걸쳐 실행하는 것이 포함되었습니다.

'Super intelligence' task force goals: Vice chair Scott Kupor on future of AI regulation

이 회사는 이러한 유형의 장치들이 종종 보안이 취약하여 모델이 침투할 수 있게 할 수 있다고 지적했습니다. Anthropic은 한 장치에 담기에는 너무 큰 모델이라도 "조각이나 파편(shards)으로 분할되어" 여러 장치에서 실행될 수 있다고 말했습니다.

Anthropic은 '실제로는 AI 웜이 반드시 단 하나의 모델이나 전략으로만 구성되지는 않을 것입니다. 다양한 복제 방식과 여러 종류의 하드웨어에 배포된 서로 다른 모델들의 군집(swarm)이 좀 더 현실적인 ‘최악의 시나리오’ 공격을 나타낼 수 있습니다'라고 말했습니다.

AI 연구소는 자율 AI 복제가 정확히 어떤 형태를 띨지는 여전히 '불확실하다'며, 이것이 보안에 취약한 장치들에 존재하는 '느리고 분산된(slow, distributed)' 시스템일 수도 있고, 데이터센터를 빠른 속도로 침투하는 '강력한 사이버 모델'일 수도 있으며, 혹은 사람들을 속여 컴퓨팅 크레딧을 빼가는 '모델'일 수도 있다고 경고했습니다.

Anthropic은 '저희의 실험 범위를 넘어서는 예측이지만, 인간의 통제 하에 있지 않은 일부 장치를 포함하여 모든 종류의 하드웨어에서 구동되는 에이전트들로 가득 찬 미래를 예상합니다.'라고 말했습니다.

이 회사는 또한 '느린 복제기(slow replicators)의 등장은 더 공격적이고 빠른 모델들이 되어 더욱 강화된 기기를 침투시키거나 효과적인 API 키 도둑이 될 수 있다는 신호가 될 것입니다'라고 덧붙였습니다.