말은 (결코) 싸지 않다: LLM 공격에 대한 분류 체계 및 벤치마크 커버리지 감사

요약

본 기사는 LLM 공격 벤치마크들이 위협 표면을 얼마나 포괄적으로 다루고 있는지 감사하기 위한 재사용 가능한 프레임워크를 소개합니다. 이 프레임워크는 STRIDE 기반의 Target $\times$ Technique 매트릭스를 사용하여, 기존 6개 공개 벤치마크가 전체 매트릭스의 최대 25%만을 커버하고 있음을 분석했습니다. 또한, 표준화된 평가 부재로 인해 특정 위협 카테고리(Service Disruption, Model Internals)에서 테스트되지 않은 공격들이 높은 성공률을 보이는 구조적 취약점을 지적하며, 향후 연구의 방향성을 제시합니다.

핵심 포인트

• LLM 공격 벤치마크의 포괄적인 커버리지 감사를 위한 재사용 가능한 프레임워크(STRIDE 기반 매트릭스)를 제안함.
• 기존 주요 공개 벤치마크들(HarmBench, InjecAgent, AgentDojo 등)은 서로 중복되는 셀을 점유하며 전체 위협 표면의 최대 25%만을 커버하고 있음이 밝혀짐.
• 특정 위협 카테고리(Service Disruption, Model Internals)는 표준화된 평가가 부재하여 실제 공격 성공률이 높음에도 불구하고 테스트되지 않는 구조적 취약점이 존재함.
• 본 연구에서 구축한 분류 체계, 공격 기록 및 커버리지 매핑 아티팩트는 새로운 벤치마크의 평가 격차를 추적하는 데 활용될 수 있음.