동료 심사(Peer Review) 생성을 위한 판단 기반 확장 (Judgment-Grounded Expansion)

원문 발행 2026. 06. 22. 21:20원문 언어 영어AI 한국어 번역arXiv cs.CL (NLP) 원문 보기

요약

자동 리뷰 생성의 책임성 문제를 해결하기 위해 인간의 판단을 기반으로 리뷰 코멘트를 확장하는 '판단 기반 확장(judgment-grounded expansion)' 프레임워크를 제안합니다. 생성-확인-정제 프로세스를 통해 인간과 AI의 협업을 모델링하고, 컨포멀 예측을 활용한 효율적인 후보 집합 큐레이션 방법을 연구합니다.

핵심 포인트

인간의 평가적 주장을 리뷰 코멘트로 확장하는 협업 모드 제안
생성-확인-정제(generate-check-refine) 구조의 프로세스 모델링
컨포멀 예측을 통한 후보 집합 크기와 커버리지 간의 균형 최적화
자동화와 책임성 사이의 균형을 맞추는 방법론적 토대 마련

자동 리뷰 생성(Automatic review generation)은 과학적 발전을 가속화하기 위한 유망한 방향입니다. 대부분의 연구가 엔드투엔드(end-to-end) 설정을 채택하고 있지만, 완전 자동화된 특성으로 인해 책임(accountability)을 요구하는 환경에는 적합하지 않을 수 있습니다. 자동화와 책임 사이의 균형을 더 잘 맞추기 위해, 우리는 판단 기반 확장(judgment-grounded expansion)을 정식화합니다. 이는 리뷰어가 평가적 주장(evaluative claim)을 제공하면 시스템이 이를 리뷰 코멘트 후보(review comment candidate)로 확장하는 인간-AI 협업 모드입니다. 우리는 이를 구조화된 생성-확인-정제(generate-check-refine) 프로세스로 모델링하고, 인간-모델 상호작용 데이터를 수집하기 위해 사용자 연구(user study)를 수행합니다. 우리는 판단 기반 확장의 두 가지 실질적인 과제인 확장 가능한 평가(scalable evaluation)와 후보 집합 큐레이션(candidate set curation)을 연구합니다. 우리는 대규모 평가를 위해 이 프로세스를 시뮬레이션하는 방법을 개발하였으며, 컨포멀 예측(conformal prediction)이 후보 집합의 크기와 목표 커버리지(target coverage) 사이의 균형을 맞추는 데 매우 적합함을 보여줍니다. 우리의 연구는 판단 기반 확장을 구체적인 작업으로 확립하고, 향후 협업형 리뷰 생성 시스템 설계를 위한 경험적 및 방법론적 토대를 제공합니다.

AI 자동 생성 콘텐츠

원문 바로가기

동료 심사(Peer Review) 생성을 위한 판단 기반 확장 (Judgment-Grounded Expansion)

요약

핵심 포인트

댓글