공격 성공률(ASR)을 넘어: LLM 안전 실패에 대한 시계열 로짓 관측 가능성 (Temporal Logit Observability)

요약

기존의 공격 성공률(ASR) 방식은 탈옥 과정의 세부 경로를 파악하지 못하는 한계가 있습니다. 본 연구는 로짓(logits)을 활용한 시계열 로짓 관측 가능성(TLO)을 통해 모델의 안전성 실패 과정을 시각화하고 진단하는 새로운 방법을 제안합니다.

핵심 포인트

• ASR의 한계를 극복하는 시계열 로짓 관측 가능성(TLO) 제안
• 로짓 기반의 2D 평면을 통해 탈옥 공격의 서로 다른 경로 식별
• 훈련이 필요 없는 진단 방법으로 모델-공격 조건 분석 가능
• TLO 기반 조기 종료 규칙으로 탈옥 공격을 절반 이상 감소