적응형 및 명시적 안전성: 대규모 추론 모델(Large Reasoning Models)의 잠재적 안전 인식 유도

요약

대규모 추론 모델(LRM)의 잠재적 안전 인식 능력을 활용하여 탈옥 및 유해 질의에 대응하는 'Safe Trigger' 방법론을 제안합니다. SFT와 DPO를 통해 모델이 스스로 안전 위험을 식별하고 분석하도록 유도하여 안전성을 크게 향상시켰습니다.

핵심 포인트

• LRM이 추론 경로를 통해 스스로 안전 위험을 식별할 수 있음을 발견
• SFT와 DPO를 결합하여 유해 질의 시에만 안전 태그를 트리거하는 적응형 방식 적용
• DeepSeek-R1-Distill-Llama-8B 모델의 공격 성공률(ASR)을 대폭 감소시킴
• 일반적인 모델 성능이나 사용자 경험에 미치는 부정적 영향 최소화