RAS: 거절 정렬 (Refusal Alignment)을 통한 LLM 안전성 측정

요약

LLM의 안전성을 출력 결과가 아닌 내부 표현(internal representations)을 통해 측정하는 화이트박스 평가 방식인 SafeVec과 RAS 지표를 제안합니다. 이 방식은 기존의 출력 기반 평가보다 비용이 적고 빠르며, 모델의 거절 정렬 상태를 0-100 점수로 정밀하게 측정할 수 있습니다.

핵심 포인트

• 출력 기반 평가의 비용 및 판단자 의존성 문제 해결
• 내부 은닉 상태를 활용한 화이트박스 평가 절차 SafeVec 제안
• 거절 방향 추출을 통한 RAS(Refusal Alignment Score) 지표 개발
• Llama, Gemma, Qwen 모델에서 검열 모델과 미검열 모델 구분 성능 입증