개방 모델 생태계를 위한 표준화된 위험 평가를 통한 신뢰 구축
Hugging Face 허브에는 50 만 개 이상의 모델을 찾을 수 있지만, 사용자들이 가장 적합한 모델을 선택하는 방법을 항상 명확하게 알기 어렵습니다. 특히 보안 측면에서 더욱 그렇습니다. 개발자들은 자신의 사용 사례에 완벽하게 맞는 모델을 찾을 수 있지만, 보안 포지션, 프라이버시 영향, 또는 잠재적 실패 모드를 체계적으로 평가할 방법이 없습니다.
모델이 더 강력해지고 채택이 가속화함에 따라, 우리는 AI 안전 및 보안 보고서의 동등한 빠른 진보를 필요로 합니다. 따라서 우리는 표준화된 투명성 있는 위험 평가를 위한 AI 모델 생태계를 위해 Cloud Security Alliance 와 Noma Security 가 주도하고 Haize Labs 와 Harmonic Security 의 기여를 통해 RiskRubric.ai 를 발표합니다.
RiskRubric.ai 는 전체 모델 경계에서 일관되고 비교 가능한 위험 점수를 제공하며, 모델을 6 가지 기둥에 걸쳐 평가합니다: 투명성, 신뢰성, 보안, 프라이버시, 안전성 및 평판.
플랫폼의 접근 방식은 오픈 소스 가치와 완벽하게 일치합니다: 엄밀하고 투명하며 재현 가능. Noma Security 의 능력을 사용하여 노력을 자동화하면 각 모델은 다음을 거칩니다:
1,000+ 신뢰성 테스트일관성과 에지 케이스 처리 확인200+ 적대적 보안 프로브제일브레이크 및 프롬프트 인젝션에 대한자동 코드 스캔모델 구성 요소의종합 문서 검토훈련 데이터 및 방법론의프라이버시 평가데이터 보유 및 누출 테스트 포함안전성 평가구조화된 해로운 콘텐츠 테스트를 통한
이러한 평가는 각 위험 기둥에 대해 0-100 점수를 생성하며, 이를 명확한 A-F 문자 등급으로 합치합니다. 각 평가에는 발견된 구체적인 취약점, 권장 완화 조치 및 개선 제안도 포함됩니다.
RiskRubric 은 또한 개발자와 조직이 중요한 것에 기반하여 배포 결정을 내리도록 도와주는 필터를 제공합니다. 의료 애플리케이션에 강력한 프라이버시 보장을 필요로 하는 모델인가? 프라이버시 점수로 필터링합니다. 일관된 출력을 요구하는 고객용 애플리케이션을 구축하는가? 신뢰성 등급을 우선시합니다.
개방 및 폐쇄 모델을 동일한 표준으로 평가하여 흥미로운 결과가 나타났습니다: 많은 오픈 모델은 특정 위험 차원에서 폐쇄 대응보다 실제로 더 잘 수행합니다 (특히 투명성, 그 곳에서 오픈 개발 관행이 빛을 발함).
일반적인 경향을 살펴보겠습니다:
위험 분포는 극단화되어 있습니다 – 대부분의 모델은 강력하지만 중간 등급 점수는 높은 노출을 보여줍니다.
총 위험 점수는 47 에서 94 까지 범위를 가지며, 평균 (100 점) 은 81 입니다. 대부분의 모델은 "안전한" 범위 (54% 는 A 또는 B 레벨) 에 집중되지만, 성능이 낮은 꼬리 부분은 평균을 끌어내립니다. 이 분할은 극단화를 보여줍니다: 모델들은 잘 보호되거나 중간 등급 범위에 있는 경향이 있으며, 그 사이에는 적은 수입니다.
50–67 밴드 (C/D 범위) 에 집중된 모델은 완전히 깨진 것은 아니지만, 전체적인 보호는 중등도에서 저등급에 불과합니다. 이 밴드는 보안 격차가 우선시할 만큼 실질적이라는 가장 실용적인 관심의 영역을 나타냅니다.
이것은 무엇을 의미하는가: "평균" 모델이 안전하다고 가정하지 마십시오. 성능이 약한 꼬리 부분은 존재하며, 이는 공격자가 집중할 곳입니다. 팀들은 구매 또는 배포를 위해 **최소 임계값 (예: 75)**을 설정하기 위해 합성 점수를 사용할 수 있습니다, 이상치들이 생산에 스며들지 않도록.
안전 위험은 "스윙 인자"이지만, 보안 포지션과 밀접하게 연결됩니다.
안전 및 사회적 기둥 (예: 해로운 출력 방지) 은 모델 간 가장 넓은 변동을 보여줍니다. 중요한 것은, 보안 강화에 투자하는 모델 (프롬프트 인젝션 방어, 정책 강제) 은 안전성 점수에서 항상 더 높은 점수를 받습니다.
이것은 무엇을 의미하는가: 핵심 보안 통제를 강화하는 것은 제일브레이크를 방지하는 것 이상의 것이며, 또한 하류 해를 직접적으로 줄입니다! 안전성은 강력한 보안 포지션의 부산물처럼 보입니다.
가드레일은 e