DysLexLens: 온라인 포럼의 통찰을 통해 난독증 학습자의 경험을 분석하는 저자원 LLM 프레임워크

난독증 학습자들은 읽기, 쓰기, 조직화 및 학습 관련 과업을 지원하기 위해 인공지능 (AI) 도구를 점점 더 많이 사용하고 있습니다. 그러나 이러한 도구들에 대한 그들의 실제 경험은 여전히 충분히 조사되지 않은 상태로 남아 있습니다. 본 논문은 온라인 포럼 토론을 통해 난독증 학습자의 AI 경험을 분석하도록 설계된 저자원 LLM (Large Language Model) 프레임워크인 DysLexLens를 제안합니다. DysLexLens는 노이즈가 많은 소셜 미디어 게시물을 사전 기반 코퍼스 (dictionary-driven corpora)로 변환하고, 지식 그래프 (Knowledge-Graph, KG) 기반의 질문 추론을 제공하며, 검증 가능한 질의 응답을 생성하고, 정량적 및 인간 기반 평가를 통해 응답 평가를 가능하게 하는 엔드 투 엔드 (end-to-end) 방식의 증거 추적 가능 아키텍처로 설계되었습니다. DysLexLens는 네 가지 주요 특징을 가집니다. 첫째, 사전 기반 필터링 방법을 사용하여 난독증과 AI에 관한 보다 집중된 Reddit 코퍼스를 구축하며, 노이즈가 많거나 관련성이 낮은 게시물을 필터링하여 저자원 포럼 맥락에서 수집된 데이터의 관련성을 향상시킵니다. 둘째, 의미 있는 패턴을 발견하기 위해 LLM 보조 의미론적 분석 (semantic analysis)을 KG 기반 질의 추론과 통합합니다. 셋째, LLM이 생성한 응답 성능을 측정하기 위한 정량적 평가 지표 (RAGAS 및 질의 강건성 (Query Robustness))를 갖추고 있습니다. 넷째, 환각 (hallucination) 및 증거 정렬 (evidence alignment)에 특별히 초점을 맞추어 응답 품질을 평가하기 위한 구조화된 정성적 검증 가이드라인을 제공합니다. 우리는 난독증 관련 Reddit 포럼 데이터와 30개의 질문을 사용하여 DysLexLens의 효과를 입증합니다. 결과는 다른 저자원 포럼 데이터 맥락으로의 잠재적 일반화 가능성을 보여줍니다. 재현성을 지원하기 위해 DysLexLens, 샘플 데이터, 질문 및 평가 결과는 Github에서 확인할 수 있습니다.