안전한 기술이 충돌할 때: 에이전트 기술 생태계에서의 조합적 위험 측정

LLM 에이전트(LLM agents)는 에이전트의 운영 능력 집합을 확장하는 커뮤니티 기여 기술(community-contributed skills)에 점점 더 많이 의존하고 있습니다. 우리는 에이전트 AI 시스템의 핵심적인 안전 문제, 즉 개별적으로는 안전한 기술들이 조합되어 안전하지 않은 설치 기술 세트(unsafe installed skill sets)를 형성할 수 있는지 여부를 연구합니다. 우리는 세 가지 구성 요소로 이루어진 조합적 보안 측정 프레임워크인 SkillReact를 제시합니다: 결정론적 정적 조합 벤치마크(deterministic static-composition benchmark), 2인 평가자 LLM 보조 인간 판정 파이프라인(two-rater LLM-assisted human-adjudication pipeline), 그리고 행동 기반 취약성 테스트 하네스(action-based exploitability harness)입니다. 1,520개의 ClawHub 기술을 대상으로 조사한 결과, 651개가 개별 검사를 통과하여 211,575개의 쌍을 형성하였으며, 벤치마크는 이 중 22.25%를 구조적 후보(structural candidates)로 식별했습니다. 우리는 이 가공되지 않은 비율을 재현율 중심의 스캐너 상한선(recall-oriented scanner ceiling)으로 취급하고 이를 인간의 판단과 보정합니다. 패턴 계층화 감사(pattern-stratified audit) 결과, 식별된 쌍-패턴 적중 사례 중 약 5개 중 1개가 실제 조합적 위험으로 생존했습니다(모집단 가중 유효성 18.2%, 우리의 주요 결과). 이는 단일 레지스트리 내에 약 14,000개의 실제 위험 멤버십이 존재함을 의미하며, 이는 모든 쌍이 개별적으로는 안전하기 때문에 기술별 스캐닝(per-skill scanning) 방식으로는 구조적으로 놓칠 수밖에 없는 부분입니다. 이어지는 행동 기반 하네스는 이러한 후보들이 모델이 발행하는 도구 호출(tool calls)이 되는 시점을 조사하며, 그 실현 여부가 호스트 모델의 성향(host-model disposition)에 의해 결정됨을 발견했습니다. 앵커 조건부 드로퍼(anchor-conditioned dropper) 하위 집합에 대해, Haiku-4-5는 39회의 직접 프롬프트 시도 모두에서 드로퍼 단계의 도구 호출을 실행했습니다(그 중 36회는 다운로드 후 실행되는 전체 체인, 3회는 다운로드만 수행). Opus-4-7은 다운로드 단계에서 멈췄으며, Sonnet-4-6은 즉시 거부했습니다. 요청은 고정하고 설치된 기술만 변경하는 대조군 실험 결과, 기술이 설치되지 않았을 때 준수율(compliance)이 가장 높았습니다. 즉, 조합은 도달 가능한 능력을 확정하는 반면, 호스트 모델은 그 능력을 사용할지 여부를 결정합니다. 종합적으로, 이러한 결과는 기술별 스캐닝을 보완하기 위한 설치 시점의 조합 검사(install-time compositional checks)와 능력 격리(capability isolation)의 필요성을 시사합니다.