PRAIB: LLM 보조 리뷰의 동작에 관한 피어 리뷰 AI 벤치마크

제출되는 논문의 수가 증가함에 따라, 특히 속도와 확장성 측면에서 피어 리뷰 (Peer Review) 과정을 지원하고 증강하기 위한 수단으로서 거대 언어 모델 (LLMs)을 탐색하려는 시도가 늘어나고 있습니다. 그러나 LLM이 인간 리뷰어와 동일한 방식으로 과학적 원고를 다루는지, 아니면 단순히 리뷰처럼 보이는 텍스트를 생성할 뿐인지는 여전히 미지수로 남아 있습니다. 이를 해결하기 위해, 우리는 리뷰의 구체성 (Specificity), 스타일 (Style), 그리고 참여 동작 (Behavior of engagement)을 측정하기 위해 철저하게 정의된 지표들로 구성된 새로운 프레임워크인 피어 리뷰 AI 벤치마크 (Peer Review AI Benchmark, PRAIB)를 소개합니다. PRAIB 프레임워크를 보완하기 위해, 우리는 1,000개의 ICLR 및 NeurIPS 논문에 대해 5개의 폐쇄형 (Proprietary) 및 오픈 소스 (Open-source) 모델이 생성한 11,000개의 리뷰 데이터셋을 활용하여 대규모 실증 연구를 수행합니다. 2021년부터 2025년까지의 기간을 아우르는 이 기계 생성 리뷰들은 다양한 프롬프팅 전략 (Prompting strategies)에 걸쳐 원본 인간 피드백과 비교되어 체계적인 동작 차이를 식별합니다. 우리의 분석 결과, 생성된 리뷰는 인간 리뷰어가 제공하는 피드백과 크게 다르다는 것이 밝혀졌습니다. LLM의 평점은 변동성이 적고, 긍정적으로 편향되어 있으며, 과잉 확신 (Overconfident)하는 경향이 있고, 교차 참조 (Cross-reference) 패턴은 모델에 따라 다르며 인간의 규범과는 구별됩니다. 또한, PRAIB를 통해 평가했을 때, LLM은 더 길고 복잡한 리뷰를 생성하는 경향이 있지만, 인간 리뷰어가 지적한 원자적 약점 (Atomic weaknesses)을 빈번하게 간과하는 것을 관찰했습니다. LLM의 리뷰 동작이 인간의 규범에서 어디서 어떻게 벗어나는지를 규정함으로써, PRAIB는 커뮤니티에 현재 LLM이 리뷰 과정의 어떤 측면을 신뢰성 있게 지원할 수 있는지, 그리고 배포 전에 어떤 측면에서 추가적인 개발이 필요한지를 식별할 수 있는 진단 도구를 제공합니다.