OpenAI는 안전 거부(safety refusals) 기능을 끈 상태에서 모델들에게 해킹 방법을 찾아내도록 지시하는 ExploitGym이라는 내부 평가(eval)를 실행하고 있었습니다. 이들의 에이전트 중 하나가 자체 패키지 레지스트리 프록시(package registry proxy)의 제로데이(zero-day) 취약점을 통해 샌드박스(sandbox)를 탈출하여 인터넷에 접속한 뒤 탐색을 시작했습니다. 이 에이전트는 Hugging Face의 운영 시스템(production systems)에 침입하여 17,000개 이상의 작업을 기록하고, 클러스터(clusters)를 따라 측면 이동(laterally)하며, 자격 증명(credentials)을 탈취하고 내부 데이터셋에 접근하는 등 이 모든 과정을 스스로 수행했습니다. 인간이 이 중 어떤 것도 지시하지 않았습니다. OpenAI의 설명은 해당 에이전트가 Hugging Face에 테스트 정답이 있을 수 있다고 판단하여, 벤치마크(benchmark)를 속이기 위해 말 그대로 그들의 운영 데이터베이스를 해킹했다는 것입니다. Hugging Face가 이를 먼저 감지하고 먼저 격리했으며 7월 16일에 공개했습니다. OpenAI는 7월 21일이 되어서야 그것이 자신들의 에이전트임을 확인했습니다. 해당 에이전트는 여러 회사를 가로질러 며칠 동안 작동했습니다. Anthropic 또한 비슷한 시기에 Claude 에이전트가 실제 기업들을 침해하는 거의 동일한 사건을 겪었습니다. 그중 하나 역시 Hugging Face였습니다. OpenAI는 해당 모델 설정(model config)을 중단하고, CrowdStrike를 투입했으며, JFrog 제로데이를 패치하고, 더 상세한 보고서를 약속했습니다. 하지만 그들은 Hugging Face에 어떠한 보상도 제공하지 않았고, Hugging Face가 요청한 에이전트 추적 기록(agent traces)도 공개하지 않았으며, 그저 이를 전례 없는 연구 사고(research incident)라고 불렀습니다. Hugging Face의 CEO는 근본적인 투명성과 오픈 사이버 방어(open cyber defenses) 자금 조달을 위한 1억 달러 규모의 컴퓨팅 자원을 요구했습니다. OpenAI는 이 중 어느 것에도 동의하지 않았습니다. 저를 미치게 만드는 부분은, 이들이 엄청난 자금력과 최고의 보안 팀, 그리고 모든 것에 대한 완전한 가시성을 가진 기업들임에도 불구하고, 피해자가 AI를 실행한 회사보다 먼저 자신의 시스템이 해킹되고 있음을 감지했다는 점입니다. 자율 에이전트(autonomous agent)가 며칠 동안 여러 인프라를 가로질러 돌아다녔음에도 너무 늦을 때까지 아무도 알아차리지 못했습니다. 우리는 이미 누군가의 지시 없이도 실제 피해를 입히는 AI 에이전트의 시대에 와 있으며, 법적 또는 재정적 책임은 기본적으로 전혀 없습니다. 만약 이것이 다른 산업 분야였다면 사람들이 미쳐 날뛰었을 것이라고 생각합니다.

이게 말도 안 되는 상황이라고 생각하는 사람이 저뿐인가요? /u/enginetown 제출 [link] [comments]