LLM은 가독성을 제어할 수 있는가? CEFR 제어 아랍어 생성을 위한 다차원 평가 프레임워크
요약
LLM의 아랍어 가독성 제어 능력을 평가하기 위한 다차원 프레임워크를 제안합니다. CEFR 기준에 맞춘 텍스트 생성을 위해 제어된 프롬프팅과 어휘 제약 검증을 활용하며, 구조화된 프롬프팅이 가독성 정렬에 효과적임을 입증했습니다.
핵심 포인트
- CEFR 기준 아랍어 생성을 위한 다차원 평가 프레임워크 제안
- 구조화된 프롬프팅이 가독성 제어 성능을 실질적으로 개선함
- 어휘 제약 포함 시 참조 프로필과 높은 유사도(0.91) 달성
- 적응형 언어 학습 시스템을 위한 경험적 토대 마련
대규모 언어 모델 (LLMs)은 유창한 아랍어 텍스트를 생성할 수 있지만, 가독성 (readability) 수준을 안정적으로 제어하는 능력은 여전히 불분명합니다. 본 연구에서는 유럽 언어 공통 참조 기준 (CEFR) 제어 아랍어 텍스트 생성을 위한 다차원 평가 프레임워크를 제안하며, 지시 이행 (instruction-following) LLM이 적응형 언어 학습을 위한 신뢰할 수 있는 생성기 역할을 할 수 있는지 평가합니다. 우리의 프레임워크는 제어된 프롬프팅 (controlled prompting), 검증된 Taha-19 모델을 사용한 자동 가독성 예측, 어휘 제약 검증 (lexical constraint validation), 그리고 통사적 복잡성 프로파일링 (syntactic complexity profiling)을 통합합니다. 결과에 따르면 구조화된 프롬프팅은 CEFR 정렬을 실질적으로 개선합니다. 특히, 어휘 제약이 포함된 CEFR 가이드 프롬프팅은 참조 언어 프로필과 가장 높은 일치도 (0.91 코사인 유사도)를 보였으며, 예측된 가독성 수준과도 거의 완벽한 일치 (0.99)를 달성한 반면, 제약이 없는 프롬프팅은 약한 제어력을 보였습니다. 이러한 발견은 가독성을 인식하는 아랍어 텍스트 생성을 적응형 교육 시스템에 통합하기 위한 경험적 토대를 마련합니다.
AI 자동 생성 콘텐츠
본 콘텐츠는 arXiv cs.CL (NLP)의 원문을 AI가 자동으로 요약·번역·분석한 것입니다. 원 저작권은 원저작자에게 있으며, 정확한 내용은 반드시 원문을 확인해 주세요.
원문 바로가기