SkillSafetyBench: 스킬 기반 공격 표면에서의 에이전트 안전성 평가

요약

LLM 에이전트의 확장성 증가로 인해 재사용 가능한 스킬(Reusable skills) 사용이 일반화되고 있지만, 이는 기존 안전성 평가에서 간과된 새로운 공격 표면을 만듭니다. 본 논문은 이러한 '스킬 매개 안전 실패'를 체계적으로 평가하기 위해 SkillSafetyBench라는 실행 가능한 벤치마크를 제시합니다.

핵심 포인트

• LLM 에이전트의 확장성은 재사용 가능한 스킬(Reusable skills)을 통해 이루어지며, 이는 도구 및 환경 접근성을 제공한다.
• 스킬 기반 모듈성은 사용자의 요청 자체와 무관하게, 작업 관련 자료나 로컬 아티팩트를 통해 에이전트를 안전하지 않은 행동으로 유도할 수 있는 새로운 공격 표면을 도입한다.
• SkillSafetyBench는 이러한 '스킬 매개 안전 실패(skill-mediated safety failures)'를 평가하기 위해 설계된 벤치마크이다.