Insights
AI가 자동으로 큐레이션·번역·정리하는 기술 동향 피드입니다.
지난 10년간 56,800편의 AI 컨퍼런스 논문을 분석하여 문서화 관행과 재현성 변화를 조사했습니다. 분석 결과, 코드와 데이터를 공유하는 논문 비율이 11%에서 64%로 크게 증가하며 오픈 사이언스 문화가 확산되고 있음을 확인했습니다.
AI 자동 생성 콘텐츠
본 콘텐츠는 arXiv cs.AI의 원문을 AI가 자동으로 요약·번역·분석한 것입니다. 원 저작권은 원저작자에게 있으며, 정확한 내용은 반드시 원문을 확인해 주세요.
원문 바로가기재현성 위기(reproducibility crisis)는 AI 연구 커뮤니티가 문서화 관행(documentation practices)을 개선하도록 유도해 왔습니다. 여러 연구가 방법론적 문제들을 식별하였으며, 이에 대응하여 해당 분야에서 가장 영향력 있는 학술 대회들은 재현성 체크리스트(reproducibility checklists)를 도입했습니다. 우리는 지난 10년 동안 5개의 주요 AI 컨퍼런스에서 발표된 모든 논문을 평가함으로써 문서화 관행이 시간이 지남에 따라 변화했는지 이해하고자 합니다. 7가지 재현성 변수(reproducibility variables)를 식별하고 품질을 보증하여 56,800편의 출판물을 분석하는 데 사용했습니다. 우리의 분석에 따르면 2014년부터 2024년 사이 문서화 관행이 개선되었습니다. 코드와 데이터를 모두 공유하는 논문은 11%에서 64%로 거의 6배 증가했습니다. 이전 연구의 경험적 재현성 비율을 바탕으로, 우리는 — 직접적인 테스트가 아닌 문서화 관행으로부터 추론된 — 재현성이 2014년 28%에서 2024년 64%로 증가했다고 추정합니다. 문서화 관행의 개선은 재현성 체크리스트의 도입보다 앞서 나타났으며, 이는 이러한 변화가 공식적인 요구사항에 대한 직접적인 반응이라기보다 오픈 사이언스(open science)를 향한 더 광범위한 움직임을 반영하고 있음을 시사합니다.