FinSafetyBench: 실제 금융 시나리오에서 LLM 안전성 평가

대형 언어 모델 (LLMs) 은 점점 더 금융 시나리오에 적용되고 있습니다. 그러나 그들은 불법 활동을 용이하게 하거나 비윤리적인 행동을 조장하는 등 해로운 출력을 생성할 수 있어 심각한 준수 리스크를 초래할 수 있습니다. 금융 분야에서의 LLM 안전성을 체계적으로 평가하기 위해, 우리는 금융 준수를 위반하는 요청을 거부하는 LLM 성능을 테스트하기 위해 설계한 이중 언어 (영어-중국어) 레드팀 벤치마크인 FinSafetyBench 를 제안합니다. 실제 금융 범죄 사례와 윤리 기준에 기반하여, 이 벤치마크는 금융 범죄 및 윤리 위반 범위를 아우르는 14 개의 하위 카테고리로 구성됩니다. 일반 목적형 LLM 과 금융 전문형 LLM 을 대상으로 세 가지 대표적 공격 설정에서 광범위한 실험을 수행함으로써, 적대적 프롬프트가 준수 보호 장치를 우회할 수 있는 중요한 취약점을 식별했습니다. 추가 분석은 중국어 컨텍스트에서의 더 높은 취약성을 드러내며, 정교하거나 암묵적인 조작 전략에 대한 프롬프트 수준의 방어법의 한계를 강조합니다.