프롬프트 학습하기: 적응형 LLM 기반 고등학교 튜터링을 통한 학생 참여도 향상

LLM(대규모 언어 모델)은 교육을 개인화할 수 있지만, 현재의 정적 프롬프트 (static-prompt) 튜터링 시스템은 다양한 학문 분야에 적응하는 데 어려움을 겪고 있습니다. 우리는 원본 전사 데이터(raw transcripts)에서 추출한 14가지 교육적 특징(예: 튜터 스캐폴딩 (tutor scaffolding), 학생 이해도 (student understanding))을 기반으로 과목 인지 프롬프팅 (subject-aware prompting) 시스템을 개발하고 테스트했습니다. 우리는 먼저 시뮬레이션 환경에서 프롬프트 라우팅 (prompt routing) 모델을 학습시킨 후, 실제 고등학생들을 대상으로 온라인 적응 (online adaptation)을 위해 이를 배포했습니다. 시뮬레이션 벤치마크 결과, 라우터가 두 가지 정적 베이스라인 (static baselines)보다 우수한 성능을 보였습니다 ($0.694$ 대 $0.647$ 및 $0.64$, $p<0.001$). A/B 테스트 ($359$명의 학생으로부터 얻은 $N=656$개의 대화) 결과, 모델이 분석적 학습 전략에서 스캐폴딩 (scaffolding) 학습 전략으로 전환되는 시뮬레이션-실제 전이 (sim-to-real transfer) 현상을 보여주었습니다. 우리의 적응형 프롬프트 선택 메커니즘은 교육 효율성을 개선하고, 교육적 품질을 유지하며, 상호작용 횟수를 약 3회 정도 줄였습니다 ($p=0.007$). 탐욕적 라우터 (greedy router)는 베이스라인과 유사한 연습 문제 전환율을 달성했지만 ($19.1%$ 대 $19.6%$), 전략을 샘플링하는 확률적 라우터 (stochastic router)는 더 높은 전환율 ($28.1%$)을 기록했습니다.