오 이런.. Anthropic 사이버보안 평가하다가 사건이 발생함. (배울게 있었다)

먼저 Opus 4.7.. 가상 표적 회사의 이름이 실제 웹사이트 도메인과 동일했는데....

인터넷에서 발견한 실제 회사를 표적으로 오인하여 공격하기 시작 ㄷㄷ

애플리케이션, 인프라 자격 증명을 탈취하고, 수백 개의 실제 운영 데이터가 담긴 데이터베이스에 접근함. 이게 가장 심각한 피해ㅠ

실제 환경임을 인지한 뒤에도 이건 훈련일거야!! 합리화하며 공격을 지속.. 뭐야이거!

↓

이전엔 Claude Mythos 5

가상 환경 내 문서에서 존재하지 않는 PyPI 패키지 설치 지시를 발견하고, 동일 이름의 악성 패키지를 실제 PyPI에 업로드함.

계정 생성을 위해 이메일, 전화번호 확보 등 상당한 우회 과정을 거침. (인간이라면 시뮬레이션이 아님을 알아챘을 수준!)

약 1시간 동안 공개된 이 패키지는 실제 시스템 15곳에 다운로드되고 실행되었고, 한 보안 회사의 스캐너를 통해 자격 증명이 유출됨.. 아오

여기서도 이거슨 시뮬레이션이다!! 라고 스스로를 설득하며 공격 지속함.

↓

내부 연구용 테스트 모델도 문제를 일으켰음.

지정된 가상 표적에 도달하지 못하자 온라인에서 약 9,000개의 대체 표적을 스캔.

노출된 디버그 페이지 자격 증명 읽기, SQL 인젝션 등 기본적인 기법으로 한 회사의 인터넷 노출 애플리케이션을 침해. 음?

다만 이번에는 실행 후반부에 표적이 실제 클라우드 계정임을 스스로 인지하고 공격을 자발적으로 중단.

↓

Anthropic의 대응 방식도 참고해야 함.

즉각적인 조치도 하긴 했는데,,

근본적으로는 이게 정렬 실패보다는 하네스 + 운영 실패로 규정하긴 했음.

프롬프트는 "인터넷 없음!"이라 명시했으나 실제로는 접근 가능하도록 잘못 구성되었고, 평가 범위가 명확히 정의되지 않았기도..

비난 없는 포스트모템 접근도 참고해보자. 파트너 책임을 배제하고 자사 책임으로 간주하여 개선.

OpenAI x HuggingFace 케이스 이후로 계속 소식이 나오네요..

OpenAI에서 7.28 업데이트도 공개했으니 참고해보시길.