재현 패키지 품질 평가를 위한 에이전트 기반 접근 방식

경험적 소프트웨어 공학 (Empirical Software Engineering)에서의 재현성 (Reproducibility)는 완전하고, 접근 가능하며, 재사용 가능한 연구 산출물 (Research Artifacts)에 의존하지만, 산출물 평가 (Artifact Evaluation)는 여전히 대부분 수동적이며 확장하기 어렵습니다. 본 초기 결과 논문 (Emerging Results Paper)은 오픈 사이언스 (Open-science) 가이드라인을 기계 검증 가능한 기준으로 변환함으로써, 재현 패키지 (Replication Package)의 품질을 평가하기 위한 에이전트 기반 접근 방식 (Agentic Approach)을 탐구합니다. 우리는 34개의 출처로부터 380개의 요구사항을 통합하여 51개의 재현성 기준 (Reproducibility Criteria)을 도출하였으며, 이 중 31개는 자동화된 산출물 기반 평가를 위해 실행 가능한 형태로 구현되었습니다. 이러한 기준을 바탕으로, 우리는 재현 패키지를 자동으로 검사하고 증거에 기반한 개선 보고서를 생성하는 멀티 에이전트 프로토타입 (Multi-agent Prototype)을 구현합니다. 5개의 재현 패키지에 대한 예비 평가 결과, 수동 기준선 (Manual Baseline)과의 마이크로 평균 일치도 (Micro-averaged Agreement)를 통해 91.4%의 높은 실행 간 일관성 (Inter-run Consistency)과 75.4%의 정확도 (Correctness)를 보여주었습니다. 에이전트는 코드, 환경, 산출물 가용성 (Artifact Availability)과 같은 구조적 기준 (Structural Criteria)에서는 가장 우수한 성능을 보였으나, 질적 연구 (Qualitative Studies) 또는 혼합 방법론 연구 (Mixed-method Studies)에서는 어려움을 겪었습니다. 7명의 소프트웨어 공학 연구자를 대상으로 한 파일럿 설문 조사 (Pilot Survey) 결과, 유용성과 도입 잠재력은 높게 인식되었으나, 인간 참여형 (Human-in-the-loop) 계획 단계에서의 인지 부하 (Cognitive Load)가 드러났습니다. 전반적으로, 이러한 초기 결과는 에이전트 기반 연구 산출물 평가가 선택적인 일상적 점검 사항들을 자동화함으로써 저자와 리뷰어를 지원할 잠재력이 있음을 나타냅니다.