4M 모델 스캔 완료: Protect AI 와 Hugging Face 6 개월

Hugging Face 와 Protect AI 는 2024 년 10 월에 Guardian 의 스캐닝 기술을 통해 Hugging Face Hub 에서 모델을 탐색하고 사용하는 개발자 커뮤니티의 머신러닝 (ML) 모델 보안을 강화하기 위해 파트너십을 맺었습니다. 이 파트너십은从一开始부터 자연스러운 조화가 되었습니다—Hugging Face 는 오픈 소스 AI 사용의 민주화를 목표로 하며 안전과 보안에 대한 약속을 가지고 있고, Protect AI 는 모든 사람이 안전한 오픈 소스 모델을 만들기 위한 방패를 구축하고 있습니다.

10 월 이후 Protect AI 는 Guardian 의 탐지 능력을 크게 확장하여 기존 위협 탐지 기능을 개선하고 4 개의 새로운 탐지 모듈을 출시했습니다:

• PAIT-ARV-100: Archive slip 은 로드 시간 (load time) 에 파일 시스템에 쓸 수 있습니다.
• PAIT-JOBLIB-101: Joblib 모델의 의심스러운 코드 실행이 로드 시간 (model load time) 에서 탐지되었습니다.
• PAIT-TF-200: TensorFlow SavedModel 은 구조적 백도어 (architectural backdoor) 를 포함합니다.
• PAIT-LMAFL-300: Llamafile 는 추론 (inference) 동안 악성 코드를 실행할 수 있습니다.

이 업데이트를 통해 Guardian 는 더 많은 모델 파일 포맷을 커버하고 Keras 의 고중요도 CVE-2025-1550 취약점과 같은 고급 오토포브스케이션 (obfuscation) 기술을 포함하여 추가 탐지합니다. 향상된 탐지 도구 덕분에 Hugging Face 사용자는 플랫폼 내의 인라인 알림을 통해 중요한 보안 정보를 받고 Insights DB 에서 포괄적인 취약성 보고서를 얻을 수 있습니다. 각 모델 페이지에는 명확하게 표시된 결과가 제공되어 사용자가 프로젝트에 통합할 모델을 더 잘 이해하고 결정하는 데 도움을 줍니다.

2025 년 4 월 1 일 기준, Protect AI 는 Hugging Face Hub 의 141 만 개 저장소 (repositories) 에서 447 만 개의 고유 모델 버전을 성공적으로 스캔했습니다.

현재까지 Protect AI 는 총 51,700 개의 모델에서 352,000 개의 안전하지 않은/의심스러운 문제를 식별했습니다. 지난 30 일 동안 Protect AI 는 Hugging Face 에서 **2 억 2 천 6 백 만 건 (226 million requests)**의 요청을 처리하며 7.94 ms 의 응답 시간을 유지했습니다.

Protect AI 의 Guardian 는 AI/ML 보안에 대한 제로 트러스트 (zero trust) 접근 방식을 적용합니다. 이는 임의 코드 실행을 무조건 위험하다고 간주하는 경우 특히 중요합니다. Guardian 는 단순히 명백히 악의적인 위협만 분류하는 것이 아니라, InsightsDB 에서 실행 위험을 의심스러운 것으로 표시하며, 오토포브스케이션 (obfuscation) 기술을 통해 해로운 코드가 무해해 보일 수 있음을 인식합니다 (payload obfuscation 에 대해서는 아래에서 더 자세히 설명). 공격자들은 프레임워크의 확장성 컴포넌트와 같이 보이는 유익한 스크립트 내에 페이로드를 숨겨서, 페이로드 검사만으로는 보안 확보가 불충분함을 알립니다. 이러한 신중한 접근 방식을 유지함으로써 Guardian 는 머신러닝 모델에서 숨겨진 위협으로 인한 위험을 완화하는 데 도움을 줍니다.

AI/ML 보안 위협은 매일 진화하고 있습니다. 이것이 Protect AI 가 자체 위협 연구 팀과 huntr (우리 커뮤니티의 17,000 명 이상의 보안 연구자들이 제공하는 세계 최초의 및 가장 큰 AI/ML 버그 보너스 프로그램) 를 활용하는 이유입니다.

파트너십 출시와 함께 2024 년 10 월에 Protect AI 는 Model File Vulnerabilities 에 대한 연구를 crowdsourcing 하는 새로운 프로그램을 huntr 에서 출시했습니다. 프로그램 출시 이후, Protect AI 팀이 검토하고 Guardian 에 통합한 보고서 200 개 이상을 받았습니다—all of which are automatically applied to the model scans here on Hugging Face.

더 많은 huntr 보고서와 독립적인 위협 연구가 진행됨에 따라 일부 경향들이 나타났습니다.

Library-dependent attack chains: 이러한 공격은 ML 워크스테이션 환경에 존재하는 라이브러리에서 함수를 호출할 수 있는 악의적인 행위자의 능력을 중점적으로 다룹니다. 이는 Java 와 Flash 와 같은 일반적인 유틸리티가 존재했을 때 브라우저 및 시스템에 영향을 미친

강화된 라이브러리 의존성 공격 탐지: Guardian 의 라이브러리 의존성 공격 벡터 탐지 기능을 위한 상당한 기능 확장. PyTorch 와 Pickle 스캐너는 이제 시리얼화된 코드의 심층 구조 분석을 수행하며, 실행 경로를 조사하고 라이브러리 의존성을 통해 트리거될 수 있는 잠재적으로 악의적인 코드 패턴을 식별합니다. 예를 들어, PyTorch 의 torchvision.io 함수는 피해자의 시스템에 있는 모든 파일을 덮어써서 페이로드를 포함시키거나 모든 내용을 삭제할 수 있습니다. Guardian 는 이제 PyTorch, Numpy, Pandas 와 같은 인기 라이브러리에서 이러한 위험한 함수의 대부분을 탐지할 수 있습니다.

발견된 오버프래스드 공격: Guardian 는 다양한 아카이브 형식을 대상으로 다층 분석을 수행하며, 중첩된 아카이브를 분해하고 압축된 페이로드를 악의적인 모델로 조사합니다. 이 접근법은 압축, 인코딩 또는 시리얼화 기법을 통해 악의적인 코드를 숨기려는 시도를 탐지합니다. Joblib 은 다른 압축 형식을 사용하여 모델을 저장할 수 있으며, 이는 Pickle 디시리얼라이제이션 취약점을 오버프래스드할 수 있습니다. 또한 Keras 와 같은 다른 형식에서도 Numpy 가중치 파일에 디시리얼라이제이션 페이로드를 포함시킬 수 있습니다.

프레임워크 확장성 구성 요소에서 탐지된 악용: Guardian 의 지속적으로 개선되는 탐지 모듈은 취약점이 공개되기 전에 CVE-2025-1550 (중요 보안 발견) 에 영향을 받은 모델에 대해 Hugging Face 사용자에게 알림을 제공했습니다. 이러한 탐지 모듈은 ML 프레임워크 확장 메커니즘을 포괄적으로 분석하며, 잠재적으로 위험한 구현을 막고 표준 또는 검증된 구성 요소만 허용합니다.

식별된 추가 아키텍처 백도어: Guardian 의 아키텍처 백도어 탐지 기능은 ONNX 형식을 넘어 TensorFlow 와 같은 추가 모델 형식까지 확장되었습니다.

확장된 모델 형식 커버리지: Guardian 의 진정한 강점은 탐지 모듈의 깊이에서 비롯되며, 이는 Joblib 과 llamafile 형식 (추가 ML 프레임워크 지원 예정) 과 같은 추가 형식을 포함하도록 탐지 모듈을 상당하게 확장했습니다.

더 깊은 모델 분석 제공: 현재 탐지 기능을 더 잘 분석하고 위험한 모델을 탐지하기 위해 추가 방법을 연구합니다. 향후 근미래에 부정확한 긍정 및 부정확한 음의 감소를 위한 상당한 개선을 기대할 수 있습니다.

Protect AI 와 Hugging Face 의 파트너십을 통해 우리는 제 3 자 ML 모델을 더 안전하고 접근 가능하게 만들었습니다. 모델 보안에 대한 더 많은 눈이 있다는 것은 좋은 것일 뿐이라고 믿습니다. 우리는 보안 세계가 점점 더 주의를 기울이고 있으며, 위협을 더 발견할 수 있고 모든 사람을 위한 AI 사용자를 더 안전하게 만드는 것을 점점 더 많이 보고 있습니다.