AI 가 좋은 동료 검토자가 될 수 있을까? 동료 검토 프로세스, 평가 및 미래에 대한 조사
요약
본 기술 기사는 대형 언어 모델(LLMs)이 학술 논문의 동료 검토(peer review) 프로세스 전반에 걸쳐 어떻게 활용될 수 있는지 포괄적으로 조사합니다. LLM을 이용한 생성 기술, 반박 및 메타 검토와 같은 후속 작업 처리 방법, 그리고 인간 중심부터 LLM 기반까지의 다양한 평가 방법을 다룹니다. 궁극적으로 이 조사는 전체 동료 검토 워크플로우에 LLM 시스템을 구축하고 통합하기 위한 실용적인 지침과 방향성을 제시하는 것을 목표로 합니다.
핵심 포인트
- LLMs는 동료 검토의 여러 단계(검토, 반박, 메타 검토, 수정 등)를 보조하거나 자동화할 잠재력을 가지고 있습니다.
- 기술적 측면으로는 미세 조정 전략, 에이전트 기반 시스템, 강화학습 방법론 등을 활용하여 생성 기술을 구현할 수 있습니다.
- 평가 방법은 인간 중심, 참조 기반, LLM 기반 등 다양하며, 이를 통해 모델의 성능과 신뢰성을 검증해야 합니다.
- 본 연구는 단순히 기술 소개를 넘어, 전체 워크플로우에 LLM 시스템을 통합하기 위한 실용적인 지침과 윤리적 고려 사항까지 다룹니다.
동료 검토 (peer review) 는 검토 (reviews), 반박 (rebuttals), 메타 검토 (meta-reviews), 최종 결정 (final decisions), 그리고 그 이후의 원고 수정 (manuscript revisions) 을 포함하는 다단계 프로세스입니다. 최근 대형 언어 모델 (LLMs) 의 발전은 이 파이프라인의 다양한 단계를 보조하거나 자동화하는 방법론을 동기 부여했습니다. 본 조사에서는 (i) 생성을 위한 기술, 즉 미세 조정 전략 (fine-tuning strategies), 에이전트 기반 시스템 (agent-based systems), 강화학습 기반 방법론 (RL-based methods), 그리고 생성을 향상시키기 위한 등장하는 패러다임들을 포함하여 동료 검토 생성에 대한 기술을 종합합니다. (ii) 검토 이후 작업인 반박, 검토와 정렬된 메타 검토 및 수정 작업을 다루며, (iii) 인간 중심 (human-centered), 참조 기반 (reference-based), LLM 기반 (LLM-based), 그리고 측면 지향적 (aspect-oriented) 평가를 포괄하는 평가 방법을 다룹니다. 우리는 데이터셋을 목록화하고 모델링 선택을 비교하며 한계점, 윤리적 우려 사항 및 미래 방향에 대해 논의합니다. 본 조사는 전체 동료 검토 워크플로우를 걸쳐 LLM 시스템을 구축, 평가 및 통합하기 위한 실용적인 지침을 제공하는 것을 목표로 합니다.
AI 자동 생성 콘텐츠
본 콘텐츠는 arXiv cs.AI의 원문을 AI가 자동으로 요약·번역·분석한 것입니다. 원 저작권은 원저작자에게 있으며, 정확한 내용은 반드시 원문을 확인해 주세요.
원문 바로가기