에이전트 기반 리뷰 시스템 벤치마킹 (Benchmarking Agentic Review Systems)

AI 지원 연구로 인해 동료 검토 (peer review) 시스템에 가해지는 압박에 대한 해결책으로 새로운 형태의 에이전트 기반 리뷰 시스템 (agentic review systems)이 등장하고 있으나, 이를 어떻게 평가해야 할지는 불분명합니다. 본 연구에서는 프론티어 (frontier) 모델과 효율적인 (efficient) 모델을 아우르는 6개의 LLM을 대상으로 두 개의 오픈 소스 시스템 (OpenAIReview 및 coarse), 한 개의 독점 시스템 (Reviewer3), 그리고 제로샷 (zero-shot) 베이스라인을 평가합니다. 첫째, ICLR/NeurIPS 논문에 대한 AI 리뷰가 인용 (citations) 및 채택 결정 (acceptance decisions)과 같은 외부 신호로 근사화된 논문의 품질과 일치하는지 연구합니다. 모든 시스템은 쌍체 정확도 (pairwise accuracy)에서 우연 수준 이상의 성능을 보였으며, 가장 우수한 성능은 OpenAIReview + GPT-5.5로 83.0%를 기록했습니다. 둘째, 시스템이 기지의 정답 (ground truth)을 바탕으로 오류를 잡아낼 수 있는지 테스트하기 위해, 8개의 arXiv 주제 분류에 걸쳐 논문에 네 가지 범주의 오류를 주입하는 섭동 벤치마크 (perturbation benchmark)를 구축하고 탐지 재현율 (detection recall)을 측정합니다. 가장 강력한 구성 (OpenAIReview + GPT-5.5)은 주입된 오류의 71.6%를 잡아냈으며, 이는 개선의 여지가 상당함을 시사합니다. 6개 모델의 탐지 결과 합집합은 83.3%의 재현율에 도달하였는데, 이는 서로 다른 모델이 서로 다른 오류를 탐지함을 시사하며, 더 나은 설계 활용이 잠재적으로 성능을 높일 수 있음을 보여줍니다. 이러한 벤치마크를 넘어, 우리는 실제 사용자를 대상으로 한 OpenAIReview의 공개 배포 사례를 연구합니다. 해당 시스템의 코멘트에 대한 투표는 1.44 대 1의 비율로 긍정적인 쪽으로 치우쳐 있으며, 가장 흔한 불만 사항은 거짓 양성 (false positives) 및 사소한 트집 (minor nitpicks)에 관한 것입니다. 종합적으로, 최첨단 (state-of-the-art) 모델을 지원하는 전체 리뷰 시스템을 실제 연구 논문에 대해 평가함으로써, 우리는 AI 리뷰가 여전히 개선의 여지가 있지만, 이미 인간의 품질 판단을 잘 추적하고, 중요한 오류를 잡아내며, 실제 사용자로부터 긍정적인 피드백을 얻을 수 있음을 보여줍니다.