AI 리뷰어의 한계와 기회에 대하여: 45명의 전문가 과학자를 통한 Nature 계열 논문 리뷰 검토

AI 역량의 발전과 함께, AI 리뷰어 (AI reviewers)가 과학적 동료 검토 (scientific peer review)에 배치되기 시작했으나, 이들의 능력과 신뢰성은 여전히 의문으로 남아 있습니다. 많은 과학자들은 이들을 연구를 평가할 전문성이 없는 확률적 시스템 (probabilistic systems)으로 간주하는 반면, 다른 연구자들은 구체적인 증거 없이 이들의 준비 상태에 대해 더 낙관적인 태도를 보입니다. AI 리뷰어가 무엇을 잘하는지, 어디에서 부족한지, 그리고 어떤 과제가 남아 있는지를 이해하는 것은 필수적입니다. 그러나 기존의 AI 리뷰어에 대한 평가는 그들의 판결이 인간의 판결과 일치하는지(예: 점수 일치도 (score alignment), 승인 예측 (acceptance prediction))에만 집중해 왔으며, 이는 그들의 능력과 한계를 규명하기에는 불충분합니다.

본 논문에서 우리는 대규모 전문가 주석 연구 (expert annotation study)를 통해 이러한 격차를 해소합니다. 이 연구에서는 물리, 생물, 보건 과학 분야의 45명 전문 과학자들이 82편의 Nature 계열 논문에 대해 인간이 작성한 리뷰와 AI가 생성한 리뷰에서 추출된 2,960개의 개별 비판(각각 논문의 특정 측면을 겨냥함)을 정확성 (correctness), 중요성 (significance), 증거의 충분성 (sufficiency of evidence) 측면에서 평가하는 데 469시간을 할애했습니다. 세 가지 차원의 종합 점수에서 GPT-5.2 기반의 리뷰 에이전트 (reviewing agent)는 각 논문의 최고 점수를 받은 인간 리뷰어보다 높은 점수를 기록했으며 (60.0% vs. 48.2%, p = 0.009), Gemini 3.0 Pro와 Claude Opus 4.5를 포함한 세 가지 AI 리뷰어 모두 모든 차원에서 최저 점수를 받은 인간 리뷰어를 능가했습니다. AI 리뷰어의 정확한 비판은 또한 중요하고 증거가 충분하다는 평가를 더 자주 받았으며, 인간이 제기하지 않은 별도의 26%의 문제를 드러냈습니다.

하지만 AI 리뷰어는 인간보다 훨씬 더 많이 중복되는 경향을 보였으며 (리뷰어 쌍 간의 중복률: 21% vs. 3%), 특정 하위 분야 지식의 한계, 여러 파일에 걸친 긴 문맥 관리 (long context management) 능력 부족, 사소한 문제에 대한 과도하게 비판적인 태도 등 인간에게는 나타나지 않는 16가지의 반복적인 약점을 보였습니다. 종합적으로, 우리의 결과는 현재의 AI 리뷰어를 인간 리뷰어의 대체제가 아닌 보완재로 위치시킵니다.