자동 가독성 평가 (ARA) 를 위한 제로샷 대형 언어 모델

요약

본 논문은 감독되지 않은 자동 가독성 평가(ARA)를 위해 대형 언어 모델(LLMs)을 활용하는 새로운 제로샷 프롬프팅 방법론을 제안합니다. 연구진은 10개의 오픈소스 LLM과 14개의 데이터셋에서 이 방법을 테스트했으며, 제안된 프롬프팅 기법이 기존 방식보다 높은 성능을 보임을 입증했습니다. 또한, 문맥적 특징과 구조적 특징을 결합한 LAURAE라는 새로운 평가 지표를 제시하여 가독성 평가의 견고성을 높였습니다.

핵심 포인트

• LLMs를 활용한 감독되지 않은 자동 가독성 평가(ARA)에 대한 포괄적인 제로샷 프롬프팅 방법론을 제시함.
• 10개의 오픈소스 LLM과 14개의 데이터셋에서 테스트하여, 제안된 방법이 기존 방식보다 우수한 성능을 보임을 입증함.
• 가독성 평가의 견고성을 높이기 위해 LLM 점수와 전통적인 가독성 공식 점수를 결합한 LAURAE 지표를 개발함.
• LAURAE는 언어, 텍스트 길이, 기술 용어 양 등 다양한 조건에서 기존 방법보다 더 나은 성능을 보임.