swarm-test 이제 AutoGen 지원 — 3개의 프레임워크, 1개의 신뢰성 테스트 도구

빠른 업데이트: swarm-test v0.2.7에 AutoGen 지원이 추가되었습니다.

문제점

멀티 에이전트 (multi-agent) 생태계가 파편화되고 있습니다. 팀들은 CrewAI, LangGraph, AutoGen 또는 이들을 혼합하여 구축합니다. 하지만 모든 프레임워크에서 발생하는 실패 모드 (failure modes) 는 동일합니다:

• 하나의 에이전트가 체인 전체를 무너뜨리는 연쇄 실패 (Cascade failures)
• 데이터를 공유해서는 안 되는 에이전트 간의 컨텍스트 유출 (Context leaking)
• 전달 과정에서 지침이 왜곡되는 의도 드리프트 (Intent drift)
• 에이전트 A가 에이전트 B가 예상하지 않은 값을 출력하는 계약 위반 (Contract violations)

프레임워크 선택이 파편화되었다고 해서 테스트까지 파편화되어서는 안 됩니다.

새로운 기능

swarm-test v0.2.7에 완전한 AutoGen 지원이 추가되었습니다:

• GroupChat 및 GroupChatManager 탐지
• ConversableAgent, AssistantAgent, UserProxyAgent 추출
• 화자 전환 매핑 (allowed_transitions, speaker_selection_method)
• 에이전트 함수 맵에서 도구/함수 (Tool/function) 추출

동일한 7가지 신뢰성 테스트가 세 가지 프레임워크 모두에서 동일하게 실행됩니다:

1. 연쇄 실패 (Cascade failure)
2. 컨텍스트 유출 (Context leakage)
3. 의도 드리프트 (Intent drift)
4. 공모 탐지 (Collusion detection)
5. 영향 범위 매핑 (Blast radius mapping)
6. 타임아웃 복원력 (Timeout resilience)
7. 출력 계약 검증 (Output contract validation)

사용법

pip install swarm-test --upgrade

# CrewAI 크루 테스트
...

프레임워크가 자동으로 탐지됩니다. 별도의 플래그가 필요하지 않습니다.

YAML 설정을 사용하는 경우

# .swarmtest.yml
fail_on_severity: high
max_blast_radius: 0.75
...

동일한 설정이 모든 프레임워크에서 작동합니다. 프로젝트 루트에 파일을 넣으면 swarm-test가 자동으로 이를 인식합니다.

이것이 중요한 이유

대부분의 팀은 특정 프레임워크를 선택하고 해당 프레임워크의 특정 API를 중심으로 테스트를 구축합니다. 그러다 다른 사용 사례를 위해 두 번째 프레임워크를 추가하면 테스트가 깨집니다. 또는 CrewAI에서 LangGraph로 마이그레이션하면서 모든 신뢰성 커버리지를 잃기도 합니다.

swarm-test는 프레임워크가 아니라 상호작용 그래프 (interaction graph) 를 테스트합니다. CrewAI, LangGraph, 또는 AutoGen으로 구축했든 관계없이 그래프 토폴로지 (graph topology), 영향 범위 (blast radius), 그리고 실패 모드는 동일합니다.

다음 단계

• 중복성 점수 (Redundancy scoring) — 각 에이전트(agent)가 얼마나 대체 가능한가?
• GitHub Action — 모든 PR(Pull Request)에 대한 CI/CD 게이트로서의 swarm-test
• 상호작용 히트맵 (Interaction heatmap) — 에이전트 통신 패턴의 시각적 지도

GitHub: github.com/surajkumar811/swarm-test