Google의 Paper Assistant Tool을 통한 과학적 리뷰 자동화 연구

인공지능 (AI)은 가설 생성부터 수학적 정리 증명에 이르기까지 모든 과정을 가속화하며 과학적 발견의 혁명을 주도하고 있습니다. 그러나 이러한 급격한 가속화는 체계적인 과제를 야기하고 있습니다. 즉, 전통적인 인간의 동료 검토 (peer review) 방식으로는 AI의 도움을 받은 과학 연구의 유입 속도를 따라잡을 수 없다는 점입니다. 궁극적으로 이러한 긴장을 해결하기 위해서는 검증 및 리뷰 프로세스 자체를 가속화하기 위해 AI를 배치해야 합니다. 이러한 전환에 관한 논의를 구성하기 위해, 우리는 과학적 평가에 있어 AI-인간 협업의 네 가지 단계적 수준으로 구성된 분류 체계 (taxonomy)를 제안하고, 각 단계와 관련된 다양한 트레이드오프 (trade-offs)를 논의합니다. 이러한 미래를 향한 단계로서, 우리는 심층적인 과학적 리뷰 및 검증을 위해 구축된 에이전트형 AI 프레임워크인 Paper Assistant Tool (PAT)을 소개합니다. PAT는 전체 과학 논문을 입력받아 이론적 결과 확인, 실험 검증, 개선 사항 제안, 잠재적 결함 식별 등을 수행하며 종합적인 평가를 생성합니다. 추론 스케일링 (inference scaling) 기술을 활용함으로써, PAT는 단일 모델 호출만으로는 불가능한 더 깊은 문제들을 식별할 수 있으며, SPOT 벤치마크의 수학적 오류에 대한 제로샷 재현율 (zero-shot recall) 대비 34%의 향상을 달성했습니다. 두 개의 주요 컴퓨터 과학 컨퍼런스인 STOC 및 ICML에서 저자들을 위한 논문 제출 전 도구로 PAT를 시범 운영한 결과, 연구 논문의 결정적인 오류를 식별하고 실질적인 개선 사항을 제안하는 능력을 입증했습니다. 오류를 조기에 포착함으로써, PAT는 리뷰 프로세스의 결과에 대한 심사위원의 통제권을 유지하면서도 심사위원들에게 부과되는 인지적 부담을 완화합니다.