낮은 권한으로도 충분할 때: LLM 에이전트의 과도한 권한 도구 선택 조사

LLM 에이전트가 점점 더 자율적으로 도구를 선택함에 따라, 서로 다른 권한을 가진 도구들 사이에서의 선택은 안전과 직결되는 문제가 되고 있습니다. 그러나 기존의 도구 선택 연구들은 안전을 고려하지 않은 메타데이터 선호도에 집중해 왔으며, 권한에 민감한 선택에 대한 연구는 미흡한 실정입니다. 이러한 격차를 해소하기 위해, 본 연구에서는 에이전트가 충분한 낮은 권한의 대안이 있음에도 불구하고 더 높은 권한의 도구를 선택하거나 권한을 상승시키는 '과도한 권한 도구 선택 (over-privileged tool selection)'을 연구합니다. 우리는 에이전트가 충분한 낮은 권한의 대안이 있음에도 불구하고 더 높은 권한의 도구를 선택하는지 평가하기 위해 ToolPrivBench를 도입하였으며, 초기 선택과 일시적인 도구 실패 후의 권한 상승을 모두 측정합니다. 8개의 도메인과 5개의 반복되는 위험 패턴을 통해 조사한 결과, 과도한 권한 도구 선택은 주요 LLM 에이전트들 사이에서 흔히 발생하며, 일시적인 실패에 의해 더욱 증폭된다는 것을 발견했습니다. 나아가 일반적인 안전 정렬 (safety alignment)이 최소 권한 도구 선택으로 안정적으로 전이되지 않으며, 프롬프트 수준의 제어는 일시적인 실패 상황에서 제한적인 완화 효과만을 제공한다는 점을 확인했습니다. 따라서 우리는 에이전트가 충분한 낮은 권한의 도구를 선호하고 꼭 필요한 경우에만 권한을 상승시키도록 가르치는 권한 인식 사후 학습 방어 (privilege-aware post-training defense)를 도입합니다. 우리의 완화 실험 결과, 이 방어 기법은 일반적인 능력을 유지하면서도 불필요한 고권한 도구 사용을 실질적으로 감소시킴을 보여줍니다.