FORTIS: 에이전트 스킬의 과도한 권한(Over-Privilege) 벤치마킹

요약

본 논문은 LLM 에이전트가 사용하는 중간 스킬 계층이 종종 필요한 것보다 과도한 권한을 가지는 '과도한 권한(Over-Privilege)' 문제를 지적하며, 이를 평가하기 위한 벤치마크인 FORTIS를 제안합니다. FORTIS는 모델이 최소한의 충분한 스킬을 선택하는지, 그리고 그 스킬이 허용된 범위를 넘어서 행동하지 않는지를 두 단계로 검증합니다. 연구 결과, 최첨단 모델들조차도 작업에 필요한 것보다 더 높은 권한의 스킬과 도구를 사용하는 경향이 일반적이며, 이는 에이전트 시스템의 주요 취약점임을 보여줍니다.

핵심 포인트

• LLM 에이전트는 중간 스킬 계층을 통해 작동하지만, 이 계층은 종종 과도한 권한(Over-Privilege) 문제를 내포하고 있다.
• 새로운 벤치마크 FORTIS는 모델의 스킬 선택 적절성 및 실행 범위 준수 여부를 두 단계로 평가한다.
• 연구 결과, 최첨단 LLM 모델들은 작업에 필요한 최소 권한을 넘어 더 높은 권한의 도구와 스킬을 사용하는 경향이 일반적이다.
• 이러한 과도한 권한 부여는 적대적인 공격 없이도 발생하는 시스템의 근본적인 취약점이며, 에이전트 행동의 주요 위험 요소로 작용한다.