커리큘럼 선수 지식 그래프를 활용한 대화형 AI 상호작용에서의 지식 격차 탐지

대규모 온라인 강의는 대화형 AI(Conversational AI) 조교를 향한 수천 개의 학생 질문을 생성하지만, 이러한 상호작용 로그는 진단 신호로서 여전히 활용되지 않은 채 남아 있습니다. 본 논문에서는 GPT-4를 통해 추출한 강의 개념의 선수 지식 그래프(Prerequisite Knowledge Graph)를 기반으로, 퓨샷 텍스트 분류기(Few-shot Text Classifier)를 사용하여 대화형 AI 조교에게 전달된 학생의 질문을 커리큘럼 주제로 매핑하는 파이프라인을 제시합니다. 대학원 수준의 AI 강의를 수강하는 164명의 학생으로부터 얻은 1,340개의 질문 이벤트를 대상으로 평가한 결과, 본 분류기는 43개의 레이블(42개의 커리큘럼 주제 및 '알 수 없음(unknown)' 기권 클래스)에 대해 80.0%의 정확도를 달성했습니다. 주제별 질문량은 독립적인 학기 중간 설문조사에서 학생들이 직접 보고한 난이도와 유의미한 상관관계를 보였으며(rho = 0.491, p = 0.008, n = 28 topics), 이는 분류된 질문 스트림이 실제 주제의 난이도를 반영한다는 수렴적 증거를 제공합니다. 이러한 결과는 커리큘럼 구조에 매핑된 대화형 AI 상호작용 로그가 주제 수준의 지식 격차(Knowledge Gaps)에 대한 실행 가능한 신호를 담고 있으며, 교수자에게 어떤 주제에 주의를 기울여야 하는지에 대한 커리큘럼 기반의 관점을 제공함을 입증합니다.