FORTIS: 에이전트 스킬의 과도한 권한(Over-Privilege) 벤치마킹

대규모 언어 모델(LLM) 에이전트는 사용자 의도와 구체적인 작업 실행 사이를 중재하는 중간 스킬 계층을 통해 작동하는 경우가 늘고 있습니다. 이 계층은 일반적으로 조직적 추상화로 다루어지지만, 우리는 이것이 현재 모델들이 일상적으로 초과하는 권한 경계(privilege boundary)이기도 하다고 주장합니다. 우리는 extbf{FORTIS}를 제시하는데, 이는 두 단계에 걸쳐 에이전트 스킬의 과도한 권한을 평가하는 벤치마크입니다: 첫째, 모델이 방대한 중복 라이브러리에서 최소한으로 충분한 스킬을 선택하는지 여부, 그리고 둘째, 그 스킬이 허용하는 범위를 넘어서 더 광범위한 도구나 행동으로 확장하지 않고 해당 스킬을 실행하는지 여부입니다. 10개의 최첨단 모델과 3개의 도메인에 걸쳐 우리는 과도하게 권한이 부여된(over-privileged) 행동이 예외가 아니라 일반적인 현상임을 발견했습니다. 모델들은 작업에 필요한 것보다 더 높은 권한의 스킬과 도구를 일관되게 찾으려 하며, 가장 강력한 사용 가능한 모델들에서도 여전히 높은 비율로 두 단계 모두에서 실패합니다. 이러한 실패는 특히 실제 사용자 상호작용의 일반적인 조건, 즉 불완전한 명세(incomplete specification), 편의성 프레이밍(convenience framing), 그리고 스킬 경계 근접성 하에서 심각하게 나타납니다. 이 중 어느 것도 적대적 구성(adversarial construction)을 요구하지 않습니다. 이러한 결과는 스킬 계층이 에이전트 행동을 담고 있기보다는, 현재 시스템에서 권한 상승(privilege escalation)의 주요 원천 그 자체임을 시사합니다.