OpenSafeIntent: 이중 용도 프롬프트 세트를 통한 의도 교정된 안전한 완성(Intent-Calibrated Safe

요약

모델의 안전한 완성을 평가하기 위해 의도(intent)만을 변화시키는 통제된 프롬프트 벤치마크인 OpenSafeIntent를 제안합니다. 기존의 단일 프롬프트 평가 방식이 가진 한계를 지적하며, 의도 변화에 따른 모델의 안전성 교정 능력을 측정하는 것이 중요함을 강조합니다.

핵심 포인트

• OpenSafeIntent: 선한, 이중 용도, 악의적 의도를 포함한 통제된 프롬프트 세트 벤치마크
• 기존 프롬프트 수준의 안전성 평가는 모델의 취약점을 숨길 수 있음
• 모델이 의도 변화에 따라 안전성과 유용성을 적절히 교정하는지 평가 필요
• 이중 용도 동작 및 패러프레이징 상황에서의 안전성 취약점 발견