대규모 언어 모델(LLM)의 인용 오류 탐지 및 해석 가능성 분석

목적 - 인용 오류(Quotation error)는 인용된 정보와 그 원문 소스 간의 불일치를 의미합니다. 이러한 현상은 원문 연구에 대한 오해, 관련 이슈에 대한 학술 공동체의 집단적 이해 저해, 그리고 인용 기반 학술 평가 시스템의 정확성과 공정성 약화와 같은 일련의 부정적인 영향을 미칩니다. 기존 연구들은 인용 오류가 학술계에 만연해 있음을 보여주었으며, 더욱이 인용 오류를 수동으로 검증하는 것은 노동 집약적일 뿐만 아니라 비효율적입니다. 따라서 본 논문은 '인용 오류의 자동 탐지' 과업을 제안합니다. 방법론 - 대규모 언어 모델(LLM) 기반의 접근 방식을 채택하여, 본 논문은 기존 연구를 바탕으로 두 가지 측면에서 탐지 성능을 개선합니다. 첫째, LLM에 대한 미세 조정(Fine-tuning) 방식을 적용하여 인용 오류를 탐지합니다. 둘째, 인용된 문헌의 전문(Full-text) 데이터를 데이터셋 구축에 통합하고, 세 가지 유형의 전문 통합 방식을 비교함으로써 이러한 데이터셋을 구축하기 위한 최적의 방안을 탐색합니다. 이를 바탕으로, 본 논문은 TokenSHAP 도구를 사용하여 모델의 예측 결과에 대한 해석 가능성(Interpretability) 실험 분석을 추가로 수행합니다. 결과 - LLM에 대한 미세 조정 방식은 인용 오류 탐지 성능을 향상시켰습니다. 전문 정보를 통합하는 다양한 방법 중, 원문 초록(Abstract)을 사용하는 방식이 가장 우수한 성능을 나타냈습니다. 독창성 - 대규모 언어 모델(LLM)의 미세 조정 방식이 인용 오류의 자동 탐지 과업에 적용되었으며, 모델의 출력 결과에 대한 해석 가능성 분석이 수행되었습니다.