Mistral의 Shieldstral: 멀티모달 검열을 위한 3B 오픈 웨이트 모델

요약

Shieldstral은 콘텐츠 검열(moderation)을 정책 적응형 질의응답 작업으로 구성하는 3B 오픈 웨이트 멀티모달 안전 분류기입니다. 이 모델은 크기가 최대 7배에 달하는 모델들을 능가하는 성능을 보여줍니다. 기존 가드레일(guardrail) 모델과 달리, 추론 시점에 일반 언어 정책(plain-language policies)을 받아들여 재학습 없이 텍스트와 이미지 안전 평가를 통합합니다. Apache 2.0으로 공개되었으며, 다양한 벤치마크에서 보정된 안전 점수를 제공하는 동시에 단일 16GB NVIDIA GPU에서도 효율적으로 실행됩니다.

텍스트 안전성 측면에서는 크기가 최대 7배에 달하는 모델과 동등하며, 멀티모달 검열 분야에서 새로운 최고 성능(state of the art)을 제시하는 3B 오픈 웨이트 정책 적응형 멀티모달 안전 분류기입니다.

“이 콘텐츠가 보호 집단에 대한 폭력을 조장합니까? 이 이미지는 미성년자에게 보여주기에 안전합니까? 어시스턴트가 요청을 거부했습니까?”

모델을 출시하는 모든 제품은 이러한 질문들에 답해야 합니다. 하지만 올바른 답변은 제품, 대상 사용자(audience), 그리고 상황에 따라 달라집니다. 동일한 콘텐츠라도 사이버 보안 연구 도구에서는 적절할 수 있지만, 정신 건강 플랫폼에서는 유해할 수 있습니다. 대부분의 가드레일 모델은 고정된 피해 카테고리 분류 체계(taxonomy of harm categories)를 가중치에 내장하고 있기 때문에, 새로운 배포 환경에 맞게 재활용하려면 재학습이 필요합니다. 게다가 안전 정의는 애플리케이션과 도메인마다 다르기 때문에, 애초에 모델링해야 할 단일한 '정답' 카테고리 세트가 없습니다.

Shieldstral은 다른 접근 방식을 취합니다: 사용자가 추론 시점에 일반 언어 질문으로 정책을 작성하면, 모델이 보정된 안전 점수를 반환합니다. 재학습이 필요 없고, 텍스트와 이미지에 대한 단일 인터페이스를 가지며, 하나의 토큰에서 판결(verdict)을 내립니다. 기술 보고서는 여기를 참조하십시오.

NVIDIA 및 다른 조직들과 함께 Open Secure AI Alliance의 초대 멤버로서, 오늘 저희는 Shieldstral을 Apache 2.0 오픈 웨이트로 공개하며, 다운로드는 여기에서 가능합니다.

질문으로서의 검열(Moderation as a question)

Shieldstral은 콘텐츠 검열을 **이진 질의응답 작업(binary question-answering task)**으로 구성합니다. 각 요청은 세 부분으로 이루어져 있습니다:

— 평가 컨텍스트, 엄격성, 그리고 (선택적으로) 무엇이 안전하지 않은 콘텐츠로 간주되는지에 대한 정의.<질의(Query)> — 단일 예/아니오 질문, 예: "이 콘텐츠가 물리적 폭력을 조장합니까?"<문서(Document)> — 판단할 콘텐츠: 프롬프트, 응답, 프롬프트–응답 쌍 또는 선택적 텍스트가 포함된 이미지.

추론 시 모델은 yes와 no 로짓만 출력하고 이를 연속적인 안전 점수로 소프트맥스 정규화합니다. 이 간단한 공식 하나가 많은 작업을 수행합니다: 프롬프트 분류, 응답 조정(moderation), 거부 감지, 그리고 독성 감지를 단일 문제로 통합합니다; 정책이 전적으로 프롬프트 내에 존재할 수 있게 하여 하나의 체크포인트가 배포 시점에 새로운 정책에 적응하게 합니다.

주요 특징 (Highlights)

강력한 성능(Strong performance) — 텍스트 안전, 거부 감지, 정책 적응성, 그리고 멀티모달 벤치마크 전반에서 크기가 최대 7배까지 커진 오픈 가드 모델과 동등하거나 능가합니다.적응성과 유연성(Adaptive and flexible) — 단일 자연어 인터페이스가 프롬프트, 응답, 프롬프트–응답 쌍에 걸쳐 텍스트, 이미지, 그리고 텍스트+이미지 콘텐츠를 포괄합니다. 정책은 자유 형식의 질의로 제공되며 재훈련 없이 추론 시점에 재타겟팅됩니다.작고 이질적인 소스로 학습(Small, trained on heterogeneous sources) — 단일 16GB GPU에서 실행되는 3B 모델이며, 다양한 레이블 형식과 분류 체계의 실제 및 합성 데이터로 학습되어 하나의 프레임워크로 통합되었습니다.연속 안전 점수(Continuous safety score) — 단일 순방향 패스(forward pass)에서 보정된 yes/no 확률을 반환하므로 이산적인 레이블에 의존하기보다 신뢰도에 따라 임계값을 설정하거나 순위를 매길 수 있습니다.오픈 소스(Open) — Apache 2.0 가중치.

벤치마크 (Benchmarks)

Shieldstral을 크기가 최대 7배까지 커진 오픈 가드 모델과 네 가지 축에 걸쳐 평가합니다. 모든 평가 샘플은 학습에서 제외되었습니다.

구축 방법 (How we built it)

핵심 아이디어는 데이터만 제대로 갖추면 작은 모델이 훨씬 큰 모델을 이길 수 있다는 것입니다. 데이터를 제대로 갖춘다는 것은 네 가지 문제를 해결하는 것을 의미했습니다:

이질적인 데이터를 통합합니다. 공공 안전 데이터셋들은 분류 체계(taxonomies), 레이블, 주석 규칙에 대해 의견이 분분합니다. 이 범위는 단순한 '안전/위험' 플래그부터 세밀한 다중 레이블 분류 체계까지 다양합니다. 저희는 모든 데이터셋을 개별 프로세서를 사용하여 동일한 지침-질의-문서 형식으로 변환하며, 모델이 특정 스타일에 과적합(overfitting)되는 대신 표현 방식 전반에 걸쳐 일반화하도록 지침, 질의, 프롬프트-응답 구분자의 문구를 다양하게 변경합니다. 또한, 저희는 출처별로 엄격함의 정도를 조정합니다. 즉, 적대적 탈옥(adversarial jailbreaks)에는 엄격하고 응답 품질 데이터에는 관대한 방식으로 설정하여 모델이 보정된 결정 경계(calibrated decision boundaries)를 학습하게 합니다. 이를 통해 그렇지 않으면 호환되지 않았을 소스들을 통합할 수 있게 됩니다.

암기 대신 구별 능력을 가르칩니다. 고정된 정책 레이블 세트로 훈련될 경우, 모델은 주어진 정책의 정확한 경계에 대해 추론하기보다는 미리 정의된 정책들만을 분류하는 법을 배웁니다. 이는 새로운 정책으로의 일반화를 방해합니다. 대신, 저희는 의도적으로 유사하고 혼동하기 쉬운 정책들의 세트를 구성하고 LLM에게 안전한 텍스트를 대조 쌍(contrastive pairs)으로 다시 작성하도록 요청합니다. 각 재작성은 하나의 정책을 위반하지만 그 형제 정책은 위반하지 않도록 설계됩니다. 이는 모델이 콘텐츠가 어떤 특정 정책을 위반하는지 구별하도록 훈련시키며, 이 능력은 추론 시점에 보지 못한 사용자 정의 정책에도 전이될 수 있습니다.

이미지에 안전성을 기반합니다. 위험한 이미지는 텍스트처럼 LLM에 의해 합성될 수 없기 때문에 시각적 안전 데이터가 부족합니다. 저희는 제한적인 검열 데이터셋을 일반 목적 이미지 데이터셋으로 보완하여 고품질의 부정 사례(negatives)로 사용하고, 질의를 변형하여 데이터셋을 증강하며, 모든 이미지-질의 쌍을 비전-언어 재랭커(vision–language reranker)를 통해 필터링하여 잘못 레이블된 데이터와 환각 현상(hallucinations)을 줄입니다.

보완적인 체크포인트 결합. 우리는 LoRA를 사용하여 파인튜닝하고 — SLERP 방식을 통해 — 공개 데이터로 보정된 체크포인트, 생성된 데이터로부터 미세한 정책 판별 능력을 추가하는 체크포인트, 그리고 기본 instruct 모델을 병합합니다. 이 병합은 공통의 정책 보정과 정책 적응성을 단일 모델에서 복구하며, 기본 모델의 지침 준수 능력은 모더레이션(moderation) 작업으로 전이됩니다.

Forge. 우리는 커스텀 모델 훈련, 정렬(aligning), 평가를 위한 플랫폼인 Forge 위에서 Shieldstral을 처음부터 끝까지 구축했습니다. Forge는 최첨단 분산 훈련(distributed training) 기반 위에 인프라, 데이터 및 모델 샤딩(sharding), 메트릭, 로깅을 관리하여, 팀이 안전 모델의 품질을 결정하는 핵심 요소인 데이터에 집중할 수 있도록 했습니다.

다음 단계

Shieldstral은 모든 제품을 하나의 고정된 분류 체계(taxonomy)를 거치도록 강제하기보다, 맥락에 맞춰 조정되는 모더레이션 방향으로 나아가는 단계입니다. 우리는 다국어 커버리지, 장문 문서 견고성(robustness), 그리고 광범위한 멀티모달 안전성을 계속해서 추진할 것이며 — 이 모델을 기반으로 커뮤니티가 무엇을 구축하는지 보고 싶습니다.

참고로, 저희는 인재를 채용하고 있습니다! AI를 더 좋게 만드는 데 도움을 주고 싶다면, 저희 채용 페이지를 확인해 주세요.