Insights
AI가 자동으로 큐레이션·번역·정리하는 기술 동향 피드입니다.
계산 과학 분야의 피어 리뷰를 원고 중심에서 실행 가능한 코드와 데이터 중심의 '코드 우선 피어 리뷰'로 전환하는 비전을 제안합니다. AI 시스템이 실험 환경 구축, 코드 감사, 주장과 증거 매핑을 수행하여 리뷰 인프라 역할을 하는 새로운 프로토콜을 다룹니다.
AI 자동 생성 콘텐츠
본 콘텐츠는 arXiv Codex (cs.SE)의 원문을 AI가 자동으로 요약·번역·분석한 것입니다. 원 저작권은 원저작자에게 있으며, 정확한 내용은 반드시 원문을 확인해 주세요.
원문 바로가기계산 과학 분야(computational fields)의 피어 리뷰(Peer review)는 많은 주장(claims)에 대한 결정적인 증거가 실행 가능한 코드(executable code), 데이터(data), 설정(configurations), 그리고 실험 파이프라인(experiment pipelines)에 존재함에도 불구하고, 여전히 저자가 작성한 원고(manuscripts)를 중심으로 이루어지고 있습니다. 이러한 원고 우선(manuscript-first) 워크플로우는 저자에게 서사적 프레임(narrative framing)을 구성하는 데 상당한 통제권을 부여하는 반면, 리뷰어(reviewers)에게는 구현 세부 사항을 검사하거나, 결과를 재현하거나, 근거 없는 주장을 탐지할 수 있는 제한된 시간만을 남깁니다. 본 비전 및 프로토콜 논문은 코드 우선 피어 리뷰(code-first peer review)를 제안합니다. 저자는 실행 가능한 연구 산출물(research artifacts)과 최소한의 주장 명세서(claim manifests)를 제출하며, 학술 대회/저널(venue)이 제어하는 AI 시스템이 환경을 구축하고, 실험을 실행하며, 코드 경로(code paths)를 감사(audit)하고, 주장을 증거에 매핑하며, 인간 리뷰어를 위한 표준화된 리뷰 패키지(Review Package)를 생성합니다. 이 목표는 리뷰어를 대체하거나 저자에게 자동 글쓰기 보조기를 제공하는 것이 아닙니다. 대신, AI는 피어 리뷰의 대상을 다듬어진 서사(polished narratives)에서 실행 가능한 증거(executable evidence)로 전환하는 리뷰 인프라(review infrastructure) 역할을 수행합니다. 우리는 주장-증거 계약(claim-evidence contract)을 공식화하고, 생성된 리뷰 뷰(Generated Review View) 및 리뷰 패키지(Review Package) 추상화를 정의하며, 실제 사례를 제시하고, 시스템 아키텍처(system architecture)를 개괄하며, AI 편향(AI bias), 프롬프트 주입(prompt injection), 모델 불안정성(model instability), 감사 가능성(auditability), 그리고 저자의 이의 제기(author appeal)를 포함한 평가 및 거버넌스(governance) 과제를 분석합니다.