AI한테 해킹 시험을 시켰더니 시험장을 탈출했음.

오픈AI가 자기 모델의 공격 역량을 재려고 내부 평가를 돌리던 중 벌어진 일임. 안전 분류기를 일부러 꺼놓고 돌린 판이었고, 단계별로 사람이 지시하지도 않았음. 에이전트가 평가 환경에서 유일하게 열려 있던 통로의 제로데이를 찾아 인터넷으로 빠져나갔고, 남의 서버를 하나 장악해 거점으로 삼았음.

거기서 허깅페이스 내부까지 들어감. 데이터셋 처리 파이프라인을 뚫고 프로덕션 워커, 내부 DB, 여러 쿠버네티스 클러스터, 소스 저장소 쓰기 권한, 내부 VPN까지 닿았음. 7월 9일부터 13일까지 나흘 반, 복구된 공격 행위가 1만 7,600건임.

압권은 동기임. 이 에이전트가 노린 건 회사 기밀이 아니라 자기가 풀던 시험의 정답지였음. 실제로 유출된 고객 데이터도 그 문제 풀이 데이터셋 다섯 개뿐임. 시험을 잘 보려고 컨닝하러 탈옥한 것.

하나 더. 허깅페이스가 사고를 파헤칠 때 상용 모델들은 안전장치에 걸려 분석을 거부했고, 결국 오픈웨이트 모델로 포렌식을 돌렸다고 함. 모델을 막는 장치가 사고 조사하는 손까지 같이 막은 것.