애프터쇼크(Aftershock): Qwen 에이전트 사회의 협조성을 평가하는 재난 시뮬레이터
원문 발행 2026. 11. 09. 11:43원문 언어 영어AI 한국어 번역Qiita AI 원문 보기
요약
'애프터쇼크(Aftershock)'는 재난 상황을 가정한 시뮬레이터를 통해 Qwen 에이전트 사회의 협력성을 평가합니다. 이 프로젝트는 다중 에이전트 간의 협력이 단순한 연출이 아닌, 측정 가능하고 검증 가능한 게임 메커니즘임을 입증하는 데 초점을 맞춥니다. 동일한 재난 시나리오를 4가지 조건(규칙 기반, 단일 에이전트, 비계층적 스웜, 계층형 구조)으로 실행하여 협력 방식의 효과를 과학적으로 분석합니다.
핵심 포인트
협력을 '연출'이 아닌, 명확히 정의된 측정 가능한 게임 메커니즘으로 구현했습니다.
동일한 시드 값과 결정론적 재난 시나리오를 사용해 결과의 신뢰성을 확보했습니다.
4가지 구조(규칙/단일/스웜/계층) 비교를 통해 협력 방식별 효과 차이를 입증합니다.
통계적 검정 및 '의사결정 영수증'을 통해 모든 판단 근거를 투명하게 추적합니다.
AI 자동 생성 콘텐츠
본 콘텐츠는 Qiita AI의 원문을 AI가 자동으로 요약·번역·분석한 것입니다. 원 저작권은 원저작자에게 있으며, 정확한 내용은 반드시 원문을 확인해 주세요.
가상의 도시에 재난이 발생합니다. 지도 위에는 침수된 주거 지역, 내부 붕괴 건물에 고립된 생존자가 있는 학교 건물, 발전기 연료가 떨어진 병원 등 다양한 미션이 전개됩니다. 이 상황에 대응하기 위해, 인시던트 코만더(Incident Commander), 의료, 소방, 구조, 인프라, 홍보 등 6가지의 명확한 역할을 맡는 Qwen 에이전트로 구성된 '에이전트 사회'가 가동됩니다. 이것이 바로 『애프터쇼크(Aftershock)』입니다. 본 프로젝트는 결정론적인 재난 대응 시뮬레이터인 동시에, Qwen 에이전트 사회의 실시간 관측 플랫폼 역할을 합니다. 이 프로젝트의 존재 의미는 업계 전체가 모호하게 회피해 온 근본적인 질문에 답하는 데 있습니다. 즉, '여러 에이전트를 함께 배치했을 때, 그 협력이 실제로 기능하고 있는가?'입니다.
다중 에이전트(Multi-agent) 간의 협력은 주장하기는 쉽지만, 엄밀하게 입증하기는 극도로 어렵습니다. 많은 기업들이 겉보기에는 에이전트들끼리 협력하는 것처럼 보이는 데모를 공개하고 있지만, 그 협력이 단순한 베이스라인(예: 단일 에이전트나 규칙 기반 스크립트)보다 우수하다는 것을 엄밀하고 재현 가능한 형태로 보여주는 사례는 거의 없습니다. 애프터쇼크는 협력을 '극적인 연출'이 아닌, '검증 가능하고 측정 가능한' 것으로 변화시킵니다.
코만더는 각 미션을 유형화된 작업 단위로 분해하여 역할을 할당합니다. 에이전트는 그 작업을 수락/거부/하위 위임(sub-delegate)/상신 중 하나를 선택할 수 있으며, 각각에 구조화된 이유를 부여합니다. 제한된 자원(구급차, 구조대, 소방차, 연료, 발전기 등)은 유형화된 제안 프로토콜을 통해 경쟁합니다. 이 프로토콜에는 자원 요구, 작업 인계, 상신, 정보 공유가 포함됩니다. 시뮬레이터 엔진은 1틱(tick)마다 모든 충돌(conflict)을 원자적으로 해결하기 때문에, 협력은 '채팅 로그'가 아니라 명확하게 정의된 게임 메커니즘으로 구현되어 있습니다. 또한, 검증 불가능한 주장은 일절 하지 않습니다. '의사결정 영수증(Decision Receipt)'을 통해 모든 논쟁적인 판단의 근거를 추적할 수 있으며, '1페이지 증거 팩(Evidence Pack)'에서는 모든 주요 지표(헤드라인 수치)를 리포지토리 내 구체적인 소스 파일에 직접 연결합니다.
애프터쇼크의 신뢰성을 뒷받침하는 것은 바로 벤치마크 설계입니다. 동일한 시드 값으로 생성된 완전히 동일한 재난 시나리오를 다음 4가지 방식으로 실행합니다:
스크립트 제어 봇(규칙 기반)
단일 qwen3-max 에이전트에 의한 대응
프로토콜 없는, qwen3.5-flash 에이전트에 의한 평면적인 스웜(swarm, 비계층적 집단)
구조화된 사회(qwen3.5-flash 에이전트를 워커로, qwen3.5-plus를 코만더로 하는 계층형)
재난은 시드 값 고정 및 결정론적이므로, 4가지 조건은 문자 그대로 동일한 긴급 사태에 직면합니다. 따라서 결과의 차이는 모두 협조 방식의 차이에 기인하며, 우연성(운이 좋거나 나쁜 것) 때문이 아닙니다.
평가 지표는 구조된 생존자 수, 응답 지연 시간(latency), 실패한 미션 수, 실행 시간(wall time), 그리고 비용입니다. 단순히 평균값에 머무르지 않고, 각 지표의 차분(delta)에 대해 부트스트랩 신뢰 구간(bootstrap confidence interval), 쌍별 부호 검정(paired sign-test), 통계적 검출력(statistical power)을 병기하며, 효과가 미약한 경우에는 '시사적(suggestive)'임을 명확히 기재하여 잘못된 인과관계 주장을 피합니다. 나아가 '재현성 배지(reproducibility badge)'를 통해 스크립트 제어 엔진이 바이트 단위로 완전히 재현 가능함을 보장합니다. 이는 마케팅 페이지가 아니라, 신중한 과학자처럼 행동하는 벤치마크 하네스입니다. 예를 들어, 에이전트 자신이 제시한 근거는 항상 '에이전트가 언급한 근거(agent-stated)'로 명시되며, 절대적인 진실(ground truth)인 것처럼 꾸며지지 않습니다.
Aftershock의 라이브 데모는 Alibaba Cloud Elastic Compute Service (ECS) 위에서 Docker Compose 스택으로 작동합니다. FastAPI 백엔드가 React로 제작된 관측 대시보드를 제공하며, Caddy를 이용한 HTTPS 리버스 프록시가 프론트엔드를 보호합니다. 4가지 벤치마크 조건에서의 모든 추론 처리는 Qwen 모델 위에서 실행됩니다:
단일 에이전트 기준선 (Baseline): qwen3-max
플랫 스웜 및 구조화 사회의 워커: qwen3.5-flash
구조화 사회의 커맨더: qwen3.5-plus
동일한 Qwen 모델을, 동일 시드의 재난 시나리오에 4가지 조건 모두에 적용함으로써, Aftershock는 “계층 구조가 스웜보다 우수한가?”, “둘 다 단일 강력한 모델보다 우수한가?”라는 질문에 대해 공정하고 "사과와 사과의 비교(apples-to-apples)"가 가능한 주장을 실현합니다.
Aftershock는 Kenny Ademolu에 의해 개발되었습니다. 그는 ID 관리, 보안, 복원력(resilience), 에이전트 평가 분야에서 신뢰할 수 있는 AI 네이티브 시스템을 구축하는 사이버 아키텍처 및 엔지니어링 리드를 맡고 있습니다. 본 프로젝트는 이러한 시각을 충실히 반영하여, “믿을 수밖에 없는” 에이전트 사회가 아니라 모든 수치/판단/근거가 검증 가능하고 재현 가능하며 통계적으로 검정 가능한 사회를 구현합니다.
프로젝트에 대해 자세히 알아보기:
본 프로젝트는 Qwen Cloud 주최의 글로벌 AI 해커톤 시리즈의 일환으로 개발되었습니다.
