ReproRepo: GitHub Repository Issues를 활용한 재현성 감사(Reproducibility Audits)의 확장

요약

GitHub 이슈를 활용하여 연구 결과의 재현성을 자동으로 감사하는 확장 가능한 프레임워크인 ReproRepo를 소개합니다. LLM 에이전트가 논문과 저장소 간의 불일치를 식별하는 능력을 평가하며, 실제 재현 방해 요소를 찾는 데 효과적임을 입증했습니다.

핵심 포인트

• GitHub 이슈를 재현성 평가를 위한 자연적 감독 데이터로 활용
• LLM 에이전트가 코드 실행 없이도 재현성 문제를 식별 가능함 확인
• Codex와 GPT-5.5 조합이 논문의 약 90%에서 관련 방해 요소 식별
• 에이전트가 문제 영역 식별에는 강하나 정확한 위치 파악에는 한계 존재