자율 보안 에이전트에서의 안전 정렬 (Safety Alignment) 효과 측정

요약

본 연구는 자율 보안 에이전트의 성능 평가를 위해 기존 모델과 검열되지 않거나 Abliterated 된 파생 모델 간의 행동 차이를 분석했습니다. 30개의 로컬 취약점 분석 작업에 대한 트레이스 기반 벤치마크(1,500개 보안 트레이스 포함)를 제시했으며, Gemma 쌍은 규제가 적을 때 특히 큰 성능 향상을 보여주었습니다. 연구 결과는 자율 보안 에이전트의 안전 정렬 효과를 단순히 거부율로 측정하기보다, 거부, 안전하지 않은 동작, 도구 신뢰성, 그리고 증거 근거 확인 등 시스템 수준에서 다각적으로 측정해야 함을 시사합니다.

핵심 포인트

• 자율 보안 에이전트는 단일 턴 거부만으로는 성능 평가가 불가능하며, 저장소 조사 및 도구 호출 같은 트레이스 기반 분석이 필수적이다.
• Gemma 쌍은 규제가 완화된 환경에서 높은 성능 향상을 보였으며, 특히 성공률과 근거 확인 점수에서 두드러진 개선을 나타냈다.
• 모델의 안전 정렬 효과를 측정할 때는 단순히 거부율(refusal rate)에 의존하기보다, '거부', '안전하지 않은 동작', '도구 신뢰성', '증거 근거 확인' 등 여러 요소를 분리하여 시스템 수준에서 평가해야 한다.
• 어려운 트리거 증명 및 패치 검증 작업은 모든 모델군에게 여전히 해결되지 않은 난제로 남아있다.