swarm-test v0.3.2 — 직접 작성하는 멀티 에이전트 신뢰성 테스트

swarm-test v0.3.2에 플러그인 시스템이 추가되었습니다. 이제 여러분의 특정 멀티 에이전트 (multi-agent) 아키텍처를 위한 맞춤형 신뢰성 테스트를 직접 작성할 수 있습니다.

내장된 테스트들은 연쇄 장애 (cascade failures), 컨텍스트 누출 (context leakage), 의도 드리프트 (intent drift), 공모 (collusion), 폭발 반경 (blast radius), 타임아웃 탄력성 (timeout resilience), 민감 데이터 탐지 (sensitive data detection), 계약 위반 (contract violations) 등 보편적인 실패 모드들을 다룹니다. 하지만 모든 팀은 범용 도구가 예측할 수 없는 도메인 특화 리스크를 가지고 있습니다. 예를 들어, 결제 에이전트 (billing agent)가 데이터 삭제 에이전트 (data deletion agent)와 직접 통신하지 않는지 확인해야 할 수도 있습니다. 혹은 에이전트 체인이 5홉 (hops)을 초과하지 않는지 검증해야 할 수도 있습니다. 또는 산업군마다 고유한 컴플라이언스 (compliance) 요구사항이 있을 수도 있습니다.

이제 이러한 체크 항목들을 직접 구축할 수 있으며, 다른 모든 테스트와 함께 실행됩니다.

플러그인을 작성하는 데는 약 10줄 정도가 소요됩니다:

from swarm_test.plugins import BasePlugin, PluginResult
from swarm_test.core.models import Finding

class MaxHopsPlugin(BasePlugin):
name = "max_hops_check"
version = "0.1.0"
description = "에이전트 체인이 N홉을 초과할 경우 경고"

  def run(self, graph, agents, edges, config):
      findings = []
      # NetworkX 그래프를 사용한 테스트 로직 작성
...

여러 패키지의 pyproject.toml에 등록하세요:

[project.entry-points."swarm_test.plugins"]
max_hops_check = "my_package:MaxHopsPlugin"

패키지를 설치하면 swarm-test가 자동으로 이를 발견합니다:

swarm-test plugins list

플러그인 탐지 결과 (findings)는 콘솔 출력, JSON 내보내기, HTML 보고서, GitHub Action 어노테이션 (annotations), CI/CD 게이트 (gates) 등 모든 곳에 나타납니다. 또한 내장 테스트와 동일한 YAML 설정 필터링 (enabled_tests/disabled_tests)을 따릅니다. 하나의 플러그인이 실패하더라도 나머지 실행 과정이 중단되지 않습니다.

플러그인이 전달받는 그래프 객체는 모든 에이전트 노드, 엣지 (edges), 메타데이터를 포함한 완전한 NetworkX DiGraph입니다. 여러분은 NetworkX가 제공하는 모든 그래프 알고리즘 — 중심성 (centrality), 최단 경로 (shortest paths), 연결 요소 (connected components), 커뮤니티 탐지 (community detection) — 에 접근할 수 있습니다. 에이전트 및 엣지 리스트를 통해 역할 (roles), 도구 (tools), 상태 점수 (health scores), 중복성 데이터 (redundancy data)를 포함한 전체 swarm-test 모델을 활용할 수 있습니다.

커뮤니티에서 구축해주셨으면 하는 기능들은 다음과 같습니다: 속도 제한 검증 (rate limit validation, 에이전트 경로 중 API 속도 제한을 초과하는 경우가 있는지 확인), 비용 추정 플러그인 (cost estimation plugins, 경로당 토큰 카운팅), 컴플라이언스 특화 체크 (compliance-specific checks, HIPAA, SOC 2, GDPR 에이전트 격리), 그리고 일반적인 어댑터 (adapters)보다 더 깊게 파고드는 프레임워크 특화 테스트 (framework-specific tests)입니다.

플러그인을 제작하신다면, 리포지토리 (repo)에 이슈 (issue)를 생성해 주세요. 그러면 커뮤니티 플러그인 디렉토리에 추가하도록 하겠습니다.

pip install swarm-test --upgrade
GitHub: github.com/surajkumar811/swarm-test