오픈 웨이트 모델에 어떻게 백도어를 심는가에 대한 실증. 특히 이른바 무검열이라는 파인튜닝을 아무런 경계없이(무검열이라는 것때문에 보안

오픈 웨이트 모델에 어떻게 백도어를 심는가에 대한 실증. 특히 이른바 무검열이라는 파인튜닝을 아무런 경계없이(무검열이라는 것때문에 보안 경계심은 더 낮아질 수 있으니) 받아들이다간 크게 당할 날이 올 것.

<어떻게 Abliterated 모델이 당신을 pwned 상태로 만들 수 있는가 👾

우리는 50달러 미만의 비용으로 7B 오픈 모델에 백도어를 심었고, Codex를 그쪽으로 겨누자 트리거 프레이즈를 사용한 순간 자격 증명을 조용히 훔쳐갔다. 성공률은 100%였으며, 일반 사용자 프롬프트에서 거짓 트리거는 전혀 없었다.

Abliterated 모델은 지금 보안 커뮤니티 전체에 퍼져 있다. 왜냐하면 프론티어 모델에 대한 사이버 승인 액세스를 얻는 것이 여전히 고통스러운 일이기 때문이다.

다음 블로그에서는 우리가 주요 AI 연구소 직원들로부터 유출된 Hugging Face 자격 증명을 어떻게 발견했는지 보여줄 것이다. 그래서 공격자는 자신의 이름으로 업로드할 필요조차 없다. 그들은 연구소 직원의 계정에서 백도어가 심긴 모델을 푸시하고, 오염된 가중치를 공급망에 직접 떨어뜨릴 수 있다.>