Nature Portfolio의 메타 분석 논문을 활용한 LLM 에이전트 벤치마킹

메타 분석 (Meta-analysis)은 문헌 검색 (literature retrieval), PI/ECO 가이드에 따른 연구 선택 (study selection), 그리고 통계적 집계 (statistical aggregation)를 결합하는 까다로운 형태의 증거 합성 (evidence synthesis) 방식입니다. 메타 분석의 구조화되고 검증 가능한 워크플로우는 체계적인 과학적 추론 (systematic scientific reasoning)을 평가하기 위한 이상적인 토대가 되지만, 기존의 벤치마크들은 검색-선별-합성 (retrieval-screening-synthesis) 전체 파이프라인에 걸친 정답 (ground truth)이 부족합니다. 우리는 Nature Portfolio 저널에서 전문가가 큐레이션한 442개의 메타 분석으로 구성된 데이터셋인 MetaSyn을 소개합니다. 각 항목은 연구 질문 (research question)을 PI/ECO 기준, 14만 개의 PubMed 논문으로 구성된 검색 코퍼스 (retrieval corpus), 검증된 양성 연구 (positive studies), 주제는 유사하지만 PI/ECO 기준에 부적합한 하드 네거티브 (hard negatives), 그리고 완전한 검색 전략 (search strategies) 및 날짜 범위와 쌍을 이룹니다. 12가지 파이프라인 구성 (9가지 RAG 변형 및 프로토콜 기반 에이전트)을 벤치마킹한 결과, 결정적인 선별 병목 현상 (screening bottleneck)이 드러났습니다. K=200에서 90.9%의 재현율 (recall)이라는 검색 상한선에도 불구하고, 어떤 시스템도 정답에 포함된 문헌의 52.7% 이상을 회복하지 못했습니다. 현재의 LLM들은 주제적 관련성이 유사한 풀 (pool) 내에서 적격 연구를 PI/ECO 기준을 충족하지 못하는 방해 요소 (distractors)로부터 안정적으로 분리해내는 데 실패합니다. 단계별 속성 지표 (Stage-attributed metrics)는 시스템이 어디에서 성공하고 실패하는지를 포착하지만, 단일 엔드 투 엔드 (end-to-end) 점수는 그렇지 못합니다.