동료 심사(Peer Review) 생성을 위한 판단 기반 확장 (Judgment-Grounded Expansion)

자동 리뷰 생성(Automatic review generation)은 과학적 발전을 가속화하기 위한 유망한 방향입니다. 대부분의 연구가 엔드투엔드(end-to-end) 설정을 채택하고 있지만, 완전 자동화된 특성으로 인해 책임(accountability)을 요구하는 환경에는 적합하지 않을 수 있습니다. 자동화와 책임 사이의 균형을 더 잘 맞추기 위해, 우리는 판단 기반 확장(judgment-grounded expansion)을 정식화합니다. 이는 리뷰어가 평가적 주장(evaluative claim)을 제공하면 시스템이 이를 리뷰 코멘트 후보(review comment candidate)로 확장하는 인간-AI 협업 모드입니다. 우리는 이를 구조화된 생성-확인-정제(generate-check-refine) 프로세스로 모델링하고, 인간-모델 상호작용 데이터를 수집하기 위해 사용자 연구(user study)를 수행합니다. 우리는 판단 기반 확장의 두 가지 실질적인 과제인 확장 가능한 평가(scalable evaluation)와 후보 집합 큐레이션(candidate set curation)을 연구합니다. 우리는 대규모 평가를 위해 이 프로세스를 시뮬레이션하는 방법을 개발하였으며, 컨포멀 예측(conformal prediction)이 후보 집합의 크기와 목표 커버리지(target coverage) 사이의 균형을 맞추는 데 매우 적합함을 보여줍니다. 우리의 연구는 판단 기반 확장을 구체적인 작업으로 확립하고, 향후 협업형 리뷰 생성 시스템 설계를 위한 경험적 및 방법론적 토대를 제공합니다.