Sutra: 가장 큰 구조화된 다중 에이전트 시스템 연구 코퍼스
36,299편의 논문 수집. 17,969편 심층 분석. 16개 클러스터 분류 체계(taxonomy). 구조화된 임베딩. 로제타 스톤 매핑.
Sutra (산스크리트어: “연결하는 실타래”) -- 방대한 지식을 필수적인 실타래로 압축한 베다 경전.
역사상 가장 큰 규모의 구조화된 다중 에이전트 시스템(Multi-Agent Systems, MAS) 연구 코퍼스입니다. 고전적 MAS(1980년~2010년)부터 LLM 에이전트 폭발기(2023년 이후)까지 30년간의 역사를 아우릅니다. 분석된 모든 논문에는 8개 에이전트로 구성된 LLM 파이프라인에 의해 생성된 조정 패턴, 이론적 근거, 고전 개념 매핑, UMAP 임베딩 및 클러스터 할당 값이 담겨 있습니다.
현대의 LLM 에이전트 시스템은 40~80%의 확률로 실패합니다. 모델 자체가 약해서가 아니라, 조정(coordination) 방식이 순진하기 때문입니다. 다중 에이전트 시스템에 대한 30년간의 연구는 바로 이러한 문제들을 해결했습니다. 하지만 이후 인용 추적이 끊겼습니다. 이 저장소는 그 연결고리를 다시 만듭니다.
단순한 논문 목록과 다른 점:
- ArXiv, OpenAlex, DBLP, Crossref에서 수집된 36,299개의 후보 논문 (
data/full-paper-list.csv)
- MAS 관련성을 필터링하고 구조화된 메타데이터로 심층 분석한 17,969편의 논문
- 논문별 추출된 조정 패턴 (blackboard, supervisor, contract net, BDI, debate, stigmergy 등)
- 각 논문의 현대 개념을 고전 기원으로 매핑하는 로제타 스톤 항목(Rosetta Stone entries)
- 시각적 및 프로그래밍 탐색을 위한 UMAP 임베딩과 16개 클러스터 분류 체계(taxonomy)
- 코퍼스 논문 간 약 10만 개 이상의 방향성 에지(directed edges)를 가진 인용 그래프(Citation graph)
- 높은 인용도를 가졌으나 현대적 활용도가 거의 없는 고전 논문, 잃어버린 카나리아(Lost Canaries)
사용자는 다음과 같은 질의를 할 수 있습니다: *“blackboard 패턴을 사용하지만 Nii 1986을 인용하지 않는 모든 논문을 보여줘”*와 같이 정확한 답변을 얻을 수 있습니다.
문제점
| 발견 사항 | 출처 |
|---|
| 17.2배의 오류 증폭(error amplification)을 보이는 순진한 다중 에이전트 시스템 | Kim 등, Google DeepMind 2025 |
| ... | |
| 에이전트 신뢰성(agentic reliability)에서의 다음 도약은 더 나은 모델에서 오는 것이 아니라, 수십 년 전에 해결된 조정 프로토콜(coordination protocols)의 재채택에서 올 것이다. | |
본 저장소 구성 요소
1. 코퍼스 (data/)
36,299개 수집 → 17,969개 분석 -- 후보군 수집부터 구조화된 분석까지의 전체 파이프라인:
| 파일 | 레코드 수 | 설명 |
|---|
full-paper-list.csv | 36,299 | 완전한 후보 목록 -- ArXiv, OpenAlex, DBLP, Crossref에서 출처, 연도, 장소(venue), 외부 ID 및 분석 코퍼스로 통과 여부를 포함하여 수집된 모든 논문 |
| ... | | |
2. 16개 기둥 분류 체계 (Taxonomy)
이 코퍼스는 MAS 연구의 주요 조정 메커니즘을 나타내는 16개의 클러스터로 구성되어 있습니다. 각 기둥은 고전적인 대표 논문과 현대적인 진입점을 가지고 있으므로, 이 쌍으로 시작하여 해당 조정 메커니즘의 기원과 현재 상태를 모두 이해할 수 있습니다.
이 분류 체계는 준지도 학습 방식(semi-supervised method)으로 생성되었습니다. 도메인 전문 지식이 16개 클러스터 앵커(고전적 및 현대적 용어를 다루는 50~150단어 설명)를 정의하고, 구조화된 임베딩에 대한 코사인 유사도(cosine similarity)가 논문을 해당 앵커에 할당합니다. 전체 분류 체계의 근거에는 세 가지 디자인 반복 버전과 경계 결정 사항을 포함하여 research/cluster-guide.md를 참조하십시오.
시대별 분포 (Era Distribution)
이 코퍼스는 1948년부터 2026년까지의 자료를 포괄합니다. 2000년대의 정점은 고전적인 다중 에이전트 시스템(MAS) 학회(AAMAS, EUMAS, CEEMAS)의 황금기를 반영합니다. 2025년 이후 급증세는 LLM 에이전트 폭발을 반영합니다.
| 시대 | 수집된 자료 | 높은 관련성 | 평균 인용 횟수 | 중앙값 인용 횟수 |
|---|
| <1990 | 562 | 225 | 797 | 94 |
| ... | | | | |
최근 자료임에도 불구하고 2025년 이후의 높은 평균 인용 횟수(115회)는 GPT-4, AutoGen, MetaGPT와 같이 인용이 빠르게 축적된 LLM 에이전트 논문들을 반영합니다.
기둥별 시대 분석 (Per-Pillar Era Breakdown)
고전적인 논문과 현대적인 논문은 실제로 어디에 위치할까요? 이 표는 각 핵심 분야(pillar)별로 시대 구분을 보여줍니다. (고전적 = 2010년 이전, 전환기 = 2010~2022년, 현대적 = 2023년 이후). 고전적인 이론이 지배적인 기둥은 깊이 확립된 이론을 가지고 있으며, 현대적인 요소가 우세한 기둥은 LLM 에이전트에 의해 주도되는 최첨단 영역입니다.
| # | 분야 (Pillar) | 총합 | 고전적 | 전환기 | 현대적 | 특징 |
|---|
| 0 | 공유 매체 (Shared Medium) | 1,093 | 502 | 160 | 424 | 균형 잡힘 -- 고전 이론 기반의 현대적 부활 |
| ... | | | | | | |
가장 두드러지는 대비점은 다음과 같습니다: Contract Net (고전적 69%, 현대적 6%) -- 거의 현대적인 계승이 없는 근본적인 작업 할당 프로토콜입니다. Memory (고전적 4%, 현대적 88%) -- LLM 에이전트가 등장하기 전에는 거의 존재하지 않았던 핵심 분야입니다. ACL & Protocols (고전적 83%, 현대적 6%) -- FIPA/KQML이 이론을 구축했으며, MCP/A2A는 이를 재구축하는 단계에 있습니다.
3. 로제타 스톤 (The Rosetta Stone)
고전적인 MAS와 현대 LLM 에이전트 시스템 간의 개념 수준 매핑:
| 고전적 개념 | 연도 | 현대적 재창조 | 상태 |
|---|
| 블랙보드 (Blackboard) (Nii) | 1986 | LangGraph state, Redis 공유 컨텍스트 | 제어 셸 상실 |
| ... | | | |
reinvention-map.csv 데이터 파일에는 논문 수준의 증거가 담겨 있습니다: 어떤 현대적 논문이 어떤 고전적 개념을 재창조했는지, 원본을 인용했는지 여부, 그리고 개념 중첩 점수입니다.
4. 실험 환경 구축기 (experiments/)
9가지 고전적인 다중 에이전트 시스템(MAS) 협업 패턴과 2가지 베이스라인을 구현했으며, 이를 LLM 기반 에이전트 시스템으로 구성하고 5가지 표준화된 벤치마크에 걸쳐 평가했습니다. 전체 추적 기록(full traces)과 함께 재현 가능한 58개의 실험 결과가 있습니다.
| 패턴 | 고전 출처 | 점수 | 주요 발견 |
|---|
| Blackboard V2 | Nii 1986 + LLM 제어 셸 | 95/100 | LLM 제어 셸이 혁신적인 부분입니다. |
| ... | | | |
가장 주목할 만한 결과는 Blackboard V2(LLM을 제어 셸로 사용)가 코드 검토에서 95/100점을 기록했다는 점입니다. 이는 V1(정적 라운드 로빈 방식) 대비 +53%의 개선율입니다. Nii가 1986년에 설명했지만 현대 프레임워크에서는 구현되지 않은 제어 셸 구성 요소가 차이를 만듭니다.
새로운 한계점은 'Joint Persistent Goals'입니다. 이 패턴은 에이전트들이 서로의 믿음을 모니터링하고 조건이 변경될 때 보고하도록 요구합니다. LLM은 52/100점을 기록했는데, 이는 상호 믿음(mutual beliefs)을 신뢰성 있게 추적하거나 자신의 인식론적 실패(epistemic failures)를 감지할 수 없기 때문입니다. 이것은 프롬프트 엔지니어링 문제가 아니라 진정한 아키텍처적 한계입니다.
cd experiments
pip3 install -r requirements.txt
...
5. 수집 파이프라인 (pipeline/)
코퍼스를 구축한 8개 에이전트의 블랙보드 시스템입니다. 각 에이전트는 안전한 동시성을 위해 FOR UPDATE SKIP LOCKED를 사용하여 공유 PostgreSQL 작업 공간에서 데이터를 읽고 쓰기 합니다:
Agent 1 (수집기) --> Agent 2 (필터링) --> Agent 3b (분석가) --> Agent 4 (강화)
|
Agent 0 (인간) <-- Agent 8 (클러스터링) <-- Agent 6 (재현기) <-- Agent 5 (탐색기)
| 에이전트 | 목적 | LLM 사용 여부 |
|---|
| Agent 1 | OpenAlex, Crossref, DBLP, CSV 시드 목록에서 논문 수집 | -- |
| ... | | |
이 파이프라인 자체는 인간-AI 공동 연구에 관한 저희의 동반 논문(Agent 0)의 사례 연구입니다.
6. 연구 지식 기반 (research/)
고전적 MAS와 현대적 MAS 간의 연결고리를 형식화한 14개의 구조화된 연구 문서(~200KB):
| 문서 | 내용 |
|---|
cluster-guide.md | 경계 근거가 포함된 전체 16개 클러스터 분류 체계(taxonomy) |
| ... | ... |
빠른 시작
데이터 탐색하기 (설정 불필요)
data/ 디렉터리에는 미리 내보낸 정적 파일이 포함되어 있습니다. 데이터베이스가 필요하지 않습니다:
실험 실행하기
cd experiments
pip3 install -r requirements.txt
...
수집 파이프라인 실행하기
cd pipeline
pip3 install -r requirements.txt
...
논문들
논문 1: Sutra
"Sutra: LLM 에이전트 시대에 고전적 협업을 연결하다"
MAS 연구의 30년 동안의 17,969개 논문을 조사했으며, 이는 16개의 기둥으로 구성되어 있습니다. 이 문서는 잊힌 개념을 감지하기 위한 Lost Canary Algorithm, 고전적 용어와 현대적 용어 간의 Rosetta Stone 매핑, 그리고 신뢰할 수 있는 다중 에이전트 협업을 위한 8가지 설계 원칙을 소개합니다. 또한 고전적인 협업 패턴(특히 블랙보드 제어 쉘)이 순진한 접근 방식보다 훨씬 뛰어난 성능을 보인다는 경험적 증거를 제공합니다.
목표: ArXiv (cs.MA + cs.AI), AAMAS 2027.
논문 2: Agent 0
"Agent 0: 신뢰할 수 있는 AI 지원 연구가 완전한 자율성이 아닌 협업 인프라를 필요로 하는 이유"
인간 연구자를 Agent 0으로 형식화합니다. 이는 수동적인 감독자가 아니라 다중 에이전트 연구 시스템의 일급 팀원입니다. 이 문서는 6개 시스템의 실패 분석, 7개 프레임워크에서의 수행적 재발견(performative rediscovery), 그리고 이 코퍼스를 구축하는 데 사용된 8-에이전트 파이프라인의 자기 참조적 제거(self-referential ablation)를 통해 얻은 증거를 제시합니다.
목표: Nature Machine Intelligence, NeurIPS 2027.
코퍼스 구축 및 검증
이 코퍼스는 다중 소스 파이프라인을 통해 구축되었으며, 6개의 재현율(recall) 테스트를 거쳐 검증되었습니다:
| Test | Method | Recall |
|---|
| AAMAS Best Papers (2011-2025) | 7 MAS 관련 수상작 | 100% (DBLP 보충 후) |
| ... | | |
초기 자동화 파이프라인(ArXiv + OpenAlex)은 체계적인 편향을 가지고 있었습니다. LLM 에이전트 논문의 경우 재현율(recall)이 75%였으나, AAMAS 학술대회 자료의 경우 5~25%에 불과했습니다. 9,003개의 학술대회 논문과 추가된 12개 출판처에서 가져온 2,314개의 논문을 DBLP를 통해 목표적으로 수집함으로써 이 격차를 해소할 수 있었습니다. 이러한 편향 패턴 자체(현대 논문은 쉽게 발견되나 고전 학술대회 자료는 완전히 누락됨)는 본 프로젝트가 특징짓는 출판 생태계의 단절을 보여주는 직접적인 증거입니다.
알려진 한계점:
- 초록(Abstract) 가용성: 17,969개 논문 중 9,879개 논문(55%)은 오픈 액세스 저장소(ArXiv, OpenAlex, Semantic Scholar)에서 가져온 전체 초록을 포함하고 있습니다. 나머지 8,090개의 논문(45%)은 제목만 있는 경우로, 주로 DBLP(AAMAS, AAAI, IJCAI)의 학술대회 자료를 수입한 것들입니다. 이 자료들의 초록은 출판사 유료 장벽 뒤에 가려져 있습니다. 저희는 저작권이 있는 초록을 재배포하지 않습니다. 논문의 98.3%(17,655/17,969)는 전체 텍스트에 접근할 수 있는 원본 소스(DOI, OpenAlex ID, ArXiv ID 또는 Semantic Scholar ID)로 연결되는 적어도 하나의 외부 식별자를 가지고 있습니다. 커버리지: OpenAlex 96.9%, DOI 49.2%, ArXiv 22.3%, Semantic Scholar 3.5%. 모든 17,969개 논문은 Agent 3b에 의해 풍부한 구조화된 분석(협업 패턴, 이론적 근거, Rosetta Stone 항목)을 가지고 있습니다. 제목만 있는 논문의 경우, 분석은 제목, 인용 컨텍스트 및 메타데이터를 사용하여 수행되었습니다.
- 범위: 도메인별 출판처(IEEE Transactions, 국방 저널 등)에서 적용된 MAS는 약 80%의 재현율을 보입니다. MAS 조사에 의해 언급되는 단일 에이전트 강화학습(RL) 기초(DQN, A3C)는 범위상 제외됩니다.
데이터베이스 스키마
로컬 Postgres 인스턴스를 사용하여 파이프라인 또는 대시보드를 실행하는 경우:
<table>
<thead>
<tr><th>Table</th><th>Description</th></tr>
</thead>
<tbody>
<tr><td>`papers`</td><td>핵심 테이블: title, year, abstract, DOIs, citation count, analysis JSONB, pipeline status, modernity score</td></tr>
</tbody></table>
The `papers.analysis` JSONB 컬럼 (Agent 3b에 의해 채워짐)에는 다음 내용이 포함되어 있습니다:
- `coordination_pattern`: supervisor, blackboard, contract_net, bdi, debate 등.
- `theoretical_grounding`: strong / moderate / weak / none
- `classical_concepts`: 논문이 인용하는 개념들
- `classical_concepts_missing`: 논문에서 *인용해야 하지만* 누락된 개념들
- `rosetta_entry`: 이 논문에 대한 고전적(classical)과 현대적(modern) 매핑 정보
- `key_contribution_summary`: 3~5 문장 요약
전체 CREATE TABLE 구문은 pipeline/schema.sql을 참조하십시오.
프로젝트 구조 (Project Structure)
sutra/
├── data/ # 사전 추출된 코퍼스 데이터 (JSONL, CSV, JSON)
├── experiments/ # 9가지 MAS 패턴 + 2가지 기준선(baselines), 5가지 벤치마크, 58개 결과
...
자체 패턴 추가하기 (Adding Your Own Patterns)
실험 하네스(experiment harness)는 확장을 염두에 두고 설계되었습니다:
from harness.base import MASPattern, Agent, ExperimentResult, BenchmarkTask
...
harness/runner.py에 등록하고 실행합니다:
python3 -m harness.runner --pattern my_pattern --benchmark all --compare
인용 (Citation)
본 코퍼스, 분류 체계(taxonomy), 또는 실험 하네스를 연구에서 사용하실 경우: