프롬프트 기반 학습을 통한 학술 논문 하이라이트의 자동 생성

하이라이트(Highlights)는 학술 논문의 주요 기여를 간결하게 요약하여 독자들이 논문의 초점에 빠르게 이해할 수 있도록 돕습니다. 그러나 많은 학술지에서 하이라이트를 제공하지 않으며, 이는 문헌 검색, 텍스트 마이닝 (text mining), 그리고 서지 계량 분석 (bibliometric analysis)에서의 활용을 제한합니다. 기존 연구들은 하이라이트 자동 추출을 위한 지도 학습 (supervised learning) 방법을 탐구해 왔으나, 이러한 방법들은 대개 대량의 라벨링된 학습 데이터를 필요로 합니다. 본 연구는 하이라이트 자동 생성을 위한 프롬프트 기반 학습 (prompt-based learning)을 조사합니다. 우리는 작업 특화형 프롬프트 템플릿 (task-specific prompt templates)을 설계하고 이를 논문 초록 (abstracts)과 결합하여 모델의 입력값으로 사용합니다. GPT-2 및 T5와 같이 로컬에 배포된 사전 학습된 모델 (pre-trained models)과 API를 통해 접속하는 ChatGPT를 포함한 여러 언어 모델 (language models)을 평가합니다. 세 가지 데이터셋에 대한 실험 결과, 프롬프트 템플릿을 사용한 ChatGPT는 작업 특화형 학습 샘플을 사용하지 않고도 기존의 지도 학습 방법과 유사한 성능을 달성함을 보여줍니다. 프롬프트에 소수의 예시를 추가했을 때, 모델은 두 개의 데이터셋에서 최첨단 (state-of-the-art) 방법들을 크게 능가합니다. 우리는 더 나아가 프롬프트 설계가 생성 품질에 어떻게 영향을 미치는지 분석하였으며, ChatGPT가 강력한 언어 모델링 (language modeling) 능력을 갖추고 있음에도 불구하고 이 작업에서의 성능은 프롬프트에 제공된 정보에 매우 민감하다는 것을 발견했습니다. 사례 연구 (Case studies) 또한 생성된 하이라이트가 일반적으로 일관성 있고, 정보가 풍부하며, 저자가 직접 작성한 하이라이트와 유사함을 보여줍니다. 본 연구는 학술 하이라이트 생성에 프롬프트 기반 학습을 적용한 초기 연구 중 하나입니다. 제안된 방법은 도메인 특화 학습 코퍼스 (training corpora)에 의존하지 않으며, 그러한 정보가 부족한 논문에 대해서도 하이라이트를 생성할 수 있어, 결과적으로 다운스트림 (downstream) 텍스트 마이닝 및 서지 계량 연구를 지원할 수 있습니다.