기술이 도움이 되지 않을 때: 공격적 사이버 보안 분야의 도구 기반 에이전트를 위한 절차적 지식에 관한 부정적 결과

에이전트 기술 (Agent Skills)은 추론 시점에 LLM 에이전트에 로드되는 절차적 지식 (procedural knowledge)의 구조화된 패키지로, 다양한 도메인에서 작업 통과율을 평균 16.2%포인트 향상시킨다고 널리 보고되고 있습니다. 그러나 동일한 벤치마크에서도 큰 편차가 나타나며, 84개의 작업 중 16개는 기술 (Skills)이 도입되었을 때 오히려 부정적인 변화 (negative deltas)를 겪었습니다. 학계는 기술 (Skills)이 '언제' 도움이 되고, 언제 단순히 불필요한 오버헤드 (redundant overhead)가 되는지에 대한 명확한 메커니즘을 아직 설명하지 못했습니다. 본 연구에서는 풍부함이 증가하는 네 가지 문서화 조건(55, 1,478, 1,976, 4,147행) 하에서 수행된 MCP 기반 자율 Capture-the-Flag (CTF) 에이전트에 대한 최근 발표된 180회 실행 통제 연구를 재분석하며, 이러한 조건들이 각각 No-Skills, Experiential-Skills, Curated-Skills, 그리고 Comprehensive-Skills 절제 연구 (ablation)와 거의 정확하게 일치함을 보여줍니다. 기존 기술 (Skills) 벤치마크에서 깊이 다뤄지지 않은 도메인인 공격적 사이버 보안 (offensive cybersecurity)에서는 기술 (Skills)의 한계 이익 (marginal benefit)이 붕괴됩니다. 기술이 없는 조건과 전체 기술이 있는 조건 사이의 차이는 8.9%포인트에 불과합니다 ($p = 0.71$, $χ^2$; $p = 0.25$, Cochran--Armitage trend test; 6개의 쌍체 Cohen's $h$ 값 중 5개가 작은 효과 임계값인 $0.2$ 미만임). 우리는 누락된 변수가 '환경 피드백 대역폭 (environment-feedback bandwidth)'이라고 주장합니다. 에이전트의 도구 계층 (tool layer)이 엄격하고 스키마 검증이 완료된 저지연 관찰값 (low-latency observations)을 반환할 때, 환경 자체가 기술 (Skills)이 제공해야 할 일반적인 절차적 교정 신호 (procedural correction signal)를 공급합니다. 그 결과, 선별된 기술 (curated Skills)의 한계 이익은 실질적으로 감소하며, 일부 사례(예: 본 연구의 타이밍 사이드 채널 설정)에서는 성능을 능동적으로 저하시킵니다. 우리는 검증 가능한 가설을 제시하고, 복합 AI 시스템 (compound AI systems)을 위한 설계적 시사점을 스케치하며, 재분석 파이프라인을 공개하여 재현을 지원할 것입니다.