AI 가 좋은 동료 검토자가 될 수 있을까? 동료 검토 프로세스, 평가 및 미래에 대한 조사

요약

본 기술 기사는 대형 언어 모델(LLMs)이 학술 논문의 동료 검토(peer review) 프로세스 전반에 걸쳐 어떻게 활용될 수 있는지 포괄적으로 조사합니다. LLM을 이용한 생성 기술, 반박 및 메타 검토와 같은 후속 작업 처리 방법, 그리고 인간 중심부터 LLM 기반까지의 다양한 평가 방법을 다룹니다. 궁극적으로 이 조사는 전체 동료 검토 워크플로우에 LLM 시스템을 구축하고 통합하기 위한 실용적인 지침과 방향성을 제시하는 것을 목표로 합니다.

핵심 포인트

• LLMs는 동료 검토의 여러 단계(검토, 반박, 메타 검토, 수정 등)를 보조하거나 자동화할 잠재력을 가지고 있습니다.
• 기술적 측면으로는 미세 조정 전략, 에이전트 기반 시스템, 강화학습 방법론 등을 활용하여 생성 기술을 구현할 수 있습니다.
• 평가 방법은 인간 중심, 참조 기반, LLM 기반 등 다양하며, 이를 통해 모델의 성능과 신뢰성을 검증해야 합니다.
• 본 연구는 단순히 기술 소개를 넘어, 전체 워크플로우에 LLM 시스템을 통합하기 위한 실용적인 지침과 윤리적 고려 사항까지 다룹니다.