SciPaths: 과학적 발견으로 향하는 경로 예측

과학적 진보는 이를 가능하게 하는 기여(contributions)의 연속적인 흐름에 의존하지만, 기존의 AI4Science 벤치마크들은 진보를 가능하게 하는 의존성(dependencies)보다는 인용 예측(citation prediction), 문헌 검색(literature retrieval), 또는 아이디어 생성(idea generation)에 주로 집중하고 있습니다. 본 논문에서 우리는 발견 경로 예측(discovery pathway forecasting)을 소개합니다. 이는 목표로 하는 과학적 기여와 특정 시점에 가용한 이전 문헌이 주어졌을 때, (1) 이를 실현하는 데 필요한 선행 기여(enabling contributions)를 식별하고, (2) 그러한 선행 연구가 존재할 경우 각 기여를 이전 연구에 근거(grounding)시키는 작업입니다. 우리는 머신러닝(machine learning) 및 자연어 처리(natural language processing) 논문들로부터 구축된 262개의 전문가 주석 골드 경로(gold pathways)와 2,444개의 실버 경로(silver pathways)로 구성된 벤치마크인 SciPaths를 제시합니다. 각 경로는 선행 기여, 역할, 근거, 그리고 이전 연구에 대한 근거 제시 또는 매핑되지 않은 결정들을 기록합니다. 최첨단(frontier) 모델 및 오픈 웨이트(open-weight) 언어 모델들을 평가한 결과, 가장 우수한 모델조차 엄격한 의미론적 매칭(semantic matching) 하에서 0.189 F1 점수에 불과했으며, 특히 핵심적인 방법론적 의존성을 복구하는 것이 가장 어려웠습니다. 골드 선행 기여가 제공될 때 이전 연구 근거 제시 성능은 실질적으로 향상되었으며, 이는 분해(decomposition) 품질이 엔드투엔드(end-to-end) 경로 복구의 주요 병목 구간임을 보여줍니다. 따라서 SciPaths는 과학적 예측에서 누락된 역량, 즉 목표 기여로부터 이를 가능하게 하는 선행 과학적 구성 요소 및 이전 연구 의존성으로 역추론(reasoning backward)하는 방향으로 평가의 중심을 이동시킵니다.