ReproRepo: GitHub Repository Issues를 활용한 재현성 감사(Reproducibility Audits)의 확장

논문과 공개된 코드로부터 연구 결과를 재현하는 것은 과학적 진보의 핵심입니다. 기존 연구들은 LLM 에이전트(LLM agents)가 재현성을 도울 수 있는지 평가하기 위한 벤치마크를 도입해 왔으나, 데이터 큐레이션(data curation) 및 평가를 위해 상당한 수동 노력이 필요하기 때문에 확장하기가 어렵습니다. 우리는 실제 재현 방해 요소(reproduction blockers)에 대한 자연적으로 발생하는 감독(supervision)으로서 사용자가 제기한 GitHub 이슈(issues)를 활용하는, 재현성 평가를 위한 확장 가능한 프레임워크인 ReproRepo를 소개합니다. 우리는 주요 컨퍼런스의 최근 머신러닝 (machine learning) 논문 1,149개를 대상으로 ReproRepo를 구현하고, 네 가지 최첨단 모델-에이전트 (frontier model-agent) 구성을 평가했습니다. 연구 결과, LLM 에이전트는 코드를 실행하지 않더라도 논문-저장소(paper-repository) 쌍으로부터 많은 실제 재현성 문제를 식별할 수 있음을 보여주었습니다. 본 연구에서 가장 우수한 에이전트인 Codex와 GPT-5.5 조합은 연구 대상 논문의 약 90%에 대해 의미론적으로 관련된 인간 보고 방해 요소를 최소 하나 이상 찾아냈습니다. 추가 분석 결과, 에이전트들은 가시적인 실패를 드러내고 적절한 의미론적 영역(semantic region)을 식별하는 데 특히 효과적이지만, 정확한 위치 파악(localization)에는 여전히 불충분할 수 있음을 보여줍니다. ReproRepo는 실제 재현성 감사(reproducibility auditing)에 대한 LLM 에이전트의 향후 평가를 위한 재사용 가능하고 확장 가능한 프레임워크로 활용될 수 있습니다. 우리의 코드는 https://github.com/LithiumDA/ReproRepo に 공개되어 있습니다.