AutoSynthesis: 자동 메타 분석을 위한 에이전트 시스템
요약
AutoSynthesis는 자연어 연구 질문을 받아 자동 메타 분석을 수행하는 종단 간 다중 에이전트 시스템입니다. 이 시스템은 문헌 검색, 적격성 평가, 정량적 통계 추출 및 표준화된 효과 크기 계산까지 전 과정을 자동화합니다. 그 결과, 전문가가 수행한 수동 메타 분석과 높은 일치도를 보여주며 근거 기반 의사결정을 지원할 잠재력을 입증했습니다.
핵심 포인트
- 자연어 질문을 받아 자동 메타 분석을 수행하는 에이전트 시스템입니다.
- 문헌 검색, 적격성 평가, 통계 추출 등 전 과정을 자동화합니다.
- 전문가 수준의 메타 분석 결과와 높은 일치도를 보였습니다.
- 근거 기반 의사결정(evidence-based decision-making)을 지원할 수 있습니다.
증거 합성(Evidence synthesis)은 1차 연구를 과학, 의학, 교육 및 정책 분야의 신뢰할 수 있는 지식으로 전환하는 데 매우 중요합니다. 그러나 정량적 증거 합성은 여전히 대부분 수동적이며 확장하기 어렵습니다. 본 논문에서는 자동 메타 분석을 위한 종단 간(end-to-end) 다중 에이전트 시스템인 AutoSynthesis를 소개합니다. 자연어 형태의 연구 질문이 주어지면, AutoSynthesis는 검색 전략을 공식화하고, 과학 문헌을 검색하며, 후보 연구들을 선별하고, 전문(full-text) 적격성을 평가하며, 정량적 통계치를 추출하고, 표준화된 효과 크기(standardized effect sizes)를 계산한 후, 최종적으로 무작위 효과 메타 분석(random-effects meta-analysis)을 수행합니다. AutoSynthesis는 또한 효과 크기가 조절 변수(moderators)에 따라 어떻게 달라지는지 검토하기 위한 이질성 분석(heterogeneity analysis)과 편향 위험 평가(risk-of-bias assessment)를 지원합니다. 출력물로, AutoSynthesis는 PRISMA 가이드라인에 맞춰진 투명한 보고서를 생성합니다. 저희의 적용 사례에서, AutoSynthesis는 28개 이상의 연구를 선별하고 20개 이상의 정량적 주장을 추출했습니다. AutoSynthesis가 산출한 통합 효과 추정치(pooled effect estimates)는 전문가가 수행한 메타 분석의 Hedges' $g$와 유사하여 수동적인 증거 합성과의 높은 일치도를 보여줍니다. 종합적으로, 이러한 결과들은 AutoSynthesis가 정량적 증거 합성을 더욱 확장 가능하게 만들 수 있으며, 이를 통해 학문 전반에 걸쳐 근거 기반 의사결정(evidence-based decision-making)을 지원할 수 있음을 보여줍니다.
AI 자동 생성 콘텐츠
본 콘텐츠는 arXiv cs.AI의 원문을 AI가 자동으로 요약·번역·분석한 것입니다. 원 저작권은 원저작자에게 있으며, 정확한 내용은 반드시 원문을 확인해 주세요.
원문 바로가기