AI 리뷰가 논문 작성 과정을 개선할 수 있는가? 20개의 컴퓨터 구조(Computer Architecture) 제출 논문에 대한 실증적 연구

인공지능 (AI)과 함께 연구는 그 어느 때보다 빠르게 발전하고 있으며, 그에 따른 연구 논문들 또한 그러합니다. 폭발적으로 증가하는 AI 생성 논문의 양은 동료 심사 (Peer Review)에 부담을 주고 있으며, 이는 잠재적으로 광범위하면서도 은밀한 AI 생성 리뷰의 사용으로 이어지고 있습니다. 그러나 기밀성, 품질, 공정성에 관한 관련 윤리적 우려가 제기되고 있으며, 광범위한 연구 커뮤니티 내에서 아직 합의에 도달하지 못했습니다. 우리는 이 논쟁이 당분간 지속될 것으로 예상하지만, 그동안 우리는 대안적이고 실용적인 질문을 던져보고자 합니다: \textit{AI 리뷰가 논문 작성 (Paper Drafting)을 개선할 수 있는가?} 우리는 제출 이력(Submission Lineage)의 수준이 다양한 20개의 컴퓨터 구조 (Computer Architecture) 논문을 연구하여, 우리가 정의한 일련의 지표로 정량화된 AI 리뷰가 인간의 리뷰와 얼마나 잘 일치하는지 밝혀냅니다. 사례 연구를 수행하기 위해, 우리는 초안 논문에 대한 구조화된 AI 리뷰를 생성하는 웹 UI 통합 도구인 \emph{AI-Paper-Review}를 구축하였으며, 이는 https://github.com/unarylab/ai-paper-review 에서 확인할 수 있습니다. 이 도구는 다양한 AI 리뷰어 풀에서 여러 명의 AI 리뷰어를 선택하고, 리뷰 의견의 공통성과 중요성을 기반으로 의견들을 클러스터링(Clustering)하고 순위를 매깁니다. 또한 지표 기반 검증을 용이하게 하기 위해 AI 의견을 인간의 의견과 정렬할 수 있도록 합니다. 사례 연구 결과, AI 리뷰는 인간이 제기한 문제의 상당 부분을 다룰 수 있지만, 인간의 리뷰에서 누락된 문제를 제기하기도 한다는 것을 보여줍니다. 본 논문은 현재 단계에서 동료 심사에 AI를 사용하는 것을 권장하려는 것이 아니라, (1) AI 리뷰가 어떻게 논문 작성을 개선할 수 있는지와 (2) AI 기반 동료 심사의 잠재력 및 한계를 연구하는 데 목적이 있습니다. 도구와 사례 연구 데이터의 공개는 이 주제에 대한 향후 연구를 촉발하기 위함입니다. 동료 심사에 이를 오용하는 것은 주요 학술 대회의 윤리 정책을 위반하는 행위가 될 것입니다.