AI 지원 연구로 인해 동료 검토 (peer review) 시스템에 가해지는 압박에 대한 해결책으로 새로운 형태의 에이전트 기반 리뷰 시스템 (agentic review systems)이 등장하고 있으나, 이를 어떻게 평가해야 할지는 불분명합니다. 본 연구에서는 프론티어 (frontier) 모델과 효율적인 (efficient) 모델을 아우르는 6개의 LLM을 대상으로 두 개의 오픈 소스 시스템 (OpenAIReview 및 coarse), 한 개의 독점 시스템 (Reviewer3), 그리고 제로샷 (zero-shot) 베이스라인을 평가합니다. 첫째, ICLR/NeurIPS 논문에 대한 AI 리뷰가 인용 (citations) 및 채택 결정 (acceptance decisions)과 같은 외부 신호로 근사화된 논문의 품질과 일치하는지 연구합니다. 모든 시스템은 쌍체 정확도 (pairwise accuracy)에서 우연 수준 이상의 성능을 보였으며, 가장 우수한 성능은 OpenAIReview + GPT-5.5로 83.0%를 기록했습니다. 둘째, 시스템이 기지의 정답 (ground truth)을 바탕으로 오류를 잡아낼 수 있는지 테스트하기 위해, 8개의 arXiv 주제 분류에 걸쳐 논문에 네 가지 범주의 오류를 주입하는 섭동 벤치마크 (perturbation benchmark)를 구축하고 탐지 재현율 (detection recall)을 측정합니다. 가장 강력한 구성 (OpenAIReview + GPT-5.5)은 주입된 오류의 71.6%를 잡아냈으며, 이는 개선의 여지가 상당함을 시사합니다. 6개 모델의 탐지 결과 합집합은 83.3%의 재현율에 도달하였는데, 이는 서로 다른 모델이 서로 다른 오류를 탐지함을 시사하며, 더 나은 설계 활용이 잠재적으로 성능을 높일 수 있음을 보여줍니다. 이러한 벤치마크를 넘어, 우리는 실제 사용자를 대상으로 한 OpenAIReview의 공개 배포 사례를 연구합니다. 해당 시스템의 코멘트에 대한 투표는 1.44 대 1의 비율로 긍정적인 쪽으로 치우쳐 있으며, 가장 흔한 불만 사항은 거짓 양성 (false positives) 및 사소한 트집 (minor nitpicks)에 관한 것입니다. 종합적으로, 최첨단 (state-of-the-art) 모델을 지원하는 전체 리뷰 시스템을 실제 연구 논문에 대해 평가함으로써, 우리는 AI 리뷰가 여전히 개선의 여지가 있지만, 이미 인간의 품질 판단을 잘 추적하고, 중요한 오류를 잡아내며, 실제 사용자로부터 긍정적인 피드백을 얻을 수 있음을 보여줍니다.