LLM은 과학적 의사소통에 어떤 영향을 미치고 있는가? 글쓰기 관행과 독서 경험의 변화 측정

요약

본 연구는 LLM의 사용 증가가 과학적 의사소통 스타일, 즉 글쓰기 관행과 독서 경험에 미치는 영향을 분석합니다. ACL Anthology 논문 데이터와 합성 데이터셋을 통해 분석한 결과, LLM은 특정 통사 구조를 빈번하게 사용하고 어휘 다양성은 낮추는 경향이 있으며, 전문가들은 LLM이 개선한 텍스트를 더 이해하기 쉽다고 느끼면서도 동시에 부정적인 태도를 보이는 등 주관적인 반응을 나타냈습니다.

핵심 포인트

• LLM 사용으로 인해 과학 논문의 어휘 빈도와 사용 맥락에서 통시적 변화가 관찰됨
• LLM이 수정한 텍스트는 특정 통사 구조를 더 많이 사용하며, 더 복잡하고 긴 단어를 사용하지만 어휘 다양성은 낮아지는 경향이 있음
• 도메인 전문가들은 LLM 기반 텍스트가 이해하기 쉽고 흥미롭다고 평가함
• AI 지원 글쓰기에 대한 독서 경험은 전문가마다 주관적이고 상충되는 태도를 보임