Insights
AI가 자동으로 큐레이션·번역·정리하는 기술 동향 피드입니다.
본 논문은 LLM의 인용 오류를 자동으로 탐지하는 과업을 제안합니다. LLM 미세 조정과 원문 초록 데이터를 활용한 방법론을 통해 탐지 성능을 개선하였으며, TokenSHAP을 사용하여 모델의 예측 결과에 대한 해석 가능성을 분석했습니다.
AI 자동 생성 콘텐츠
본 콘텐츠는 arXiv cs.CL (NLP)의 원문을 AI가 자동으로 요약·번역·분석한 것입니다. 원 저작권은 원저작자에게 있으며, 정확한 내용은 반드시 원문을 확인해 주세요.
원문 바로가기목적 - 인용 오류(Quotation error)는 인용된 정보와 그 원문 소스 간의 불일치를 의미합니다. 이러한 현상은 원문 연구에 대한 오해, 관련 이슈에 대한 학술 공동체의 집단적 이해 저해, 그리고 인용 기반 학술 평가 시스템의 정확성과 공정성 약화와 같은 일련의 부정적인 영향을 미칩니다. 기존 연구들은 인용 오류가 학술계에 만연해 있음을 보여주었으며, 더욱이 인용 오류를 수동으로 검증하는 것은 노동 집약적일 뿐만 아니라 비효율적입니다. 따라서 본 논문은 '인용 오류의 자동 탐지' 과업을 제안합니다. 방법론 - 대규모 언어 모델(LLM) 기반의 접근 방식을 채택하여, 본 논문은 기존 연구를 바탕으로 두 가지 측면에서 탐지 성능을 개선합니다. 첫째, LLM에 대한 미세 조정(Fine-tuning) 방식을 적용하여 인용 오류를 탐지합니다. 둘째, 인용된 문헌의 전문(Full-text) 데이터를 데이터셋 구축에 통합하고, 세 가지 유형의 전문 통합 방식을 비교함으로써 이러한 데이터셋을 구축하기 위한 최적의 방안을 탐색합니다. 이를 바탕으로, 본 논문은 TokenSHAP 도구를 사용하여 모델의 예측 결과에 대한 해석 가능성(Interpretability) 실험 분석을 추가로 수행합니다. 결과 - LLM에 대한 미세 조정 방식은 인용 오류 탐지 성능을 향상시켰습니다. 전문 정보를 통합하는 다양한 방법 중, 원문 초록(Abstract)을 사용하는 방식이 가장 우수한 성능을 나타냈습니다. 독창성 - 대규모 언어 모델(LLM)의 미세 조정 방식이 인용 오류의 자동 탐지 과업에 적용되었으며, 모델의 출력 결과에 대한 해석 가능성 분석이 수행되었습니다.