README.md 생성 시 에이전트 복잡성의 환상: 단일 에이전트(Single-Agent) 대 다중 에이전트(Multi-Agent) RAG
요약
GitHub README 생성 시 단일 에이전트와 다중 에이전트(MAS) RAG 시스템의 효율성을 비교 연구했습니다. 단일 에이전트는 비용과 속도 면에서 우수하지만, MAS는 구조적 일관성 유지에 강점이 있음을 확인했습니다.
핵심 포인트
- 단일 에이전트는 MAS 대비 토큰 소비 86% 절감 및 2배 빠른 속도 제공
- MAS는 98%의 높은 구조적 일관성을 보여 포맷팅 문제 해결에 유리
- 자율적 계획(Autonomous planning)은 시스템의 주요 병목 현상으로 작용
- 개발자 가이드 계획(DevPlan) 도입 시 가장 높은 문서 품질 달성 가능
대규모 언어 모델 (LLMs)은 코드 완성, 코드 요약, 테스트, 그리고 저장소 수준의 문서 생성(repository-level documentation)을 포함한 여러 소프트웨어 엔지니어링 작업을 자동화하는 데 점점 더 많이 활용되고 있습니다. 작업 분해(task decomposition)가 성능을 향상시킨다는 전제하에 이러한 작업을 지원하기 위해 다중 에이전트 시스템 (Multi-Agent Systems, MAS)이 자주 채택되지만, 아키텍처의 복잡성이 실제 효율성에 미치는 영향은 여전히 충분히 검토되지 않은 상태입니다. 본 연구는 GitHub 저장소의 README 파일 생성을 위해 검색 증강 생성 (Retrieval-Augmented Generation, RAG)에 의존하는 아키텍처들을 경험적으로 평가합니다. 본 연구에서는 최첨단 베이스라인인 LARCH 및 원본 정답(ground truth)을 기준으로 단일 에이전트 (Single-Agent) 파이프라인, 특화된 MAS, 그리고 개발자 가이드 계획 (developer-guided planning, DevPlan) 변형 모델 간의 체계적인 비교를 수행했습니다. 결과는 중요한 아키텍처적 트레이드오프 (trade-off)를 나타냅니다: 단일 에이전트 파이프라인은 토큰 소비를 86% 줄이고 두 배의 속도로 작동하면서도 MAS와 대등한 어휘적 품질 (lexical quality)을 달성합니다. 반면, 수동 분류 분석 (manual taxonomy analysis) 결과 MAS는 높은 구조적 일관성 (98%)을 달성하여 단일 에이전트 방식에서 관찰되는 포맷팅 문제를 해결함을 보여줍니다. 자율적 계획 (Autonomous planning)은 주요 파이프라인 병목 현상으로 식별되었습니다; 경량화된 개발자 가이드 계획을 통합하는 것이 분석된 모든 구성보다 뛰어난 가장 높은 전반적인 문서 품질을 생성합니다.
AI 자동 생성 콘텐츠
본 콘텐츠는 arXiv Codex (cs.SE)의 원문을 AI가 자동으로 요약·번역·분석한 것입니다. 원 저작권은 원저작자에게 있으며, 정확한 내용은 반드시 원문을 확인해 주세요.
원문 바로가기