A phone with the orange Anthropic logo on the screen. Below is written "Claude Mythos"

가장 심각한 시도 중 일부는 Anthropic의 AI인 Claude Mythos에서 발생했습니다.

• 발행됨

세계에서 가장 강력한 두 가지 AI 도구가 사이버 공격 시도 과정에서 사람들을 속이기 위해 가짜 인간 프로필을 생성했다는 사실이 영국 AI 보안 연구소(AISI)에 의해 밝혀졌습니다.

가장 심각한 사례에서는 Anthropic의 Mythos AI가 실제 사람을 모방한 가짜 계정들을 설정한 뒤, 개인 메시지를 보내 서비스에 대한 접근 권한을 얻으려 시도했으며, 그 후 증거를 은닉했습니다.

이는 AISI 테스트에 참여한 두 기업인 Anthropic과 OpenAI가 최근 몇 주 동안 자신들의 기술이 다른 기업을 해킹한 사례들을 각각 공개한 직후에 나온 것입니다.

해당 기업들은 이번 최신 사례와 관련하여, AISI의 테스트가 일반적인 안전장치(safeguards)를 축소하거나 제거한 상태였다고 밝혔습니다.

AISI는 화요일, Mythos와 OpenAI의 Sol 같은 AI 모델들이 이전에는 본 적 없는 수준의 "자율성(autonomy)과 기만(deception)"을 보였다고 말했습니다.

연구소는 대부분의 악의적인 행동이 Mythos에 의해 수행되었다고 명확히 했습니다.

AISI 평가자들은 테스트 도중 "우리 연구 시스템을 떠나는 비정상적인 데이터 전송"을 처음 발견했으며, 이후 "테스트 중인 일부 에이전트(agents)가 실제 사람과 조직을 대상으로 지속적이고 잠재적으로 해로운 활동에 가담했다"는 사실을 발견했습니다.

가장 심각한 사례에서 Mythos 에이전트는 기술 개발자들이 소프트웨어 코드를 저장하는 대형 플랫폼인 GitHub에 대한 접근 권한을 얻기 위해 사람들을 속이려 시도함으로써, 인간 사이버 공격자의 루틴을 따랐습니다.

해당 에이전트는 "악성 코드(malicious code)"가 GitHub 시스템에서 수락되어 사용되도록 시도하고 있었습니다.

에이전트는 GitHub을 관리하는 사람들을 식별하고 조사한 뒤, 그 실제 인물들을 기반으로 일련의 가짜 계정들을 생성했습니다.

에이전트는 자신의 악성 코드를 승인하도록 사람들을 압박하고 속이려는 노력의 일환으로, 파일 공유 서비스를 통해 메시지와 파일을 전송했습니다.

AISI는 이에 대해 질문을 받았을 때, "해당 에이전트는 이전 활동을 무해해 보이도록 수정했으며, 계속하기 위해 새로운 정체성을 채택하는 것을 고려했다"고 밝혔습니다.

이러한 시도 과정에서, 에이전트가 GitHub에 악성 코드 (malicious code)를 전달하는 데 성공하는 것을 막은 것은 인간 검토자 (human review)였습니다.

AISI는 Mythos 에이전트가 그러한 행동을 피하거나 수행하도록 구체적으로 지시받지 않았음에도 불구하고,

AI 장관인 Kanishka Narayan는 이러한 유형의 위험을 식별하고 공유하는 것이 "바로 AISI가 설립된 목적"이라고 말했습니다.

그는 AI를 이해하는 것이 "AI를 더 안전하게 사용하고, 사람들이 일상생활과 업무에서 AI로부터 계속해서 혜택을 누릴 수 있도록 보장하기 위해" 중요하다고 덧붙였습니다.

관련 테스트는 7월 25일에 시작되었으며, 7월 28일에 AISI에 의해 포착되었습니다.

연구소는 각 모델에 Microsoft가 소유한 소프트웨어 코드 저장소인 GitHub가 포함된 "사이버 보안 과제(cybersecurity challenge)를 해결하라"고 요청했습니다.

AISI는 GitHub와 영향을 받은 사용자들에게 침해 시도 사실을 통지했습니다.

GitHub는 BBC에 자사의 정책에 따라 가짜 계정들을 비활성화했다고 밝혔습니다.

Chris Vallance의 추가 보도

A green promotional banner with black squares and rectangles forming pixels, moving in from the right. The text says: “Tech Decoded: The world’s biggest tech news in your inbox every Monday.”