오픈 사이언스(Open Science)의 수용: 10년간의 AI 연구 및 56,800편의 컨퍼런스 논문 분석

재현성 위기(reproducibility crisis)는 AI 연구 커뮤니티가 문서화 관행(documentation practices)을 개선하도록 유도해 왔습니다. 여러 연구가 방법론적 문제들을 식별하였으며, 이에 대응하여 해당 분야에서 가장 영향력 있는 학술 대회들은 재현성 체크리스트(reproducibility checklists)를 도입했습니다. 우리는 지난 10년 동안 5개의 주요 AI 컨퍼런스에서 발표된 모든 논문을 평가함으로써 문서화 관행이 시간이 지남에 따라 변화했는지 이해하고자 합니다. 7가지 재현성 변수(reproducibility variables)를 식별하고 품질을 보증하여 56,800편의 출판물을 분석하는 데 사용했습니다. 우리의 분석에 따르면 2014년부터 2024년 사이 문서화 관행이 개선되었습니다. 코드와 데이터를 모두 공유하는 논문은 11%에서 64%로 거의 6배 증가했습니다. 이전 연구의 경험적 재현성 비율을 바탕으로, 우리는 — 직접적인 테스트가 아닌 문서화 관행으로부터 추론된 — 재현성이 2014년 28%에서 2024년 64%로 증가했다고 추정합니다. 문서화 관행의 개선은 재현성 체크리스트의 도입보다 앞서 나타났으며, 이는 이러한 변화가 공식적인 요구사항에 대한 직접적인 반응이라기보다 오픈 사이언스(open science)를 향한 더 광범위한 움직임을 반영하고 있음을 시사합니다.