Insights
AI가 자동으로 큐레이션·번역·정리하는 기술 동향 피드입니다.
본 논문은 학습 경로 추천(LPR) 문제를 해결하기 위해 시뮬레이터 기반의 진화적 전문가 합성 프레임워크 EVOL을 제안합니다. EVOL은 지식 추적 시뮬레이터를 통해 사용자별 전문가 데모네이션을 생성하고, 이를 배포 환경에 적합한 정책으로 증류하여 기존 방법론 대비 우수한 성능을 입증했습니다.
AI 자동 생성 콘텐츠
본 콘텐츠는 arXiv cs.AI의 원문을 AI가 자동으로 요약·번역·분석한 것입니다. 원 저작권은 원저작자에게 있으며, 정확한 내용은 반드시 원문을 확인해 주세요.
원문 바로가기학습 경로 추천(LPR)을 위한 강화학습(RL)은 두 가지 결합된 난제에 직면해 있습니다. 첫째, 정책은 중간 피드백 없이 L 개념의 순서에 전념해야 하며, 이는 L에 따라 초지수적으로 증가하는 조합 탐색 공간을 생성하고 보상을 최종 단계에서만 제공합니다. 둘째, 전문가 학습 경로는 희소 보상 RL의 자연스러운 해결책이 되겠지만, 학생 로그는 학습자가 무엇을 했는지 기록할 뿐, 무엇을 해야 했는지는 기록하지 않기 때문에 교육 데이터에는 존재하지 않습니다. 저희는 로봇 공학의 시뮬레이터 기반 데모네이션 학습에서 레시피를 가져와 두 난제를 모두 해결합니다: 지식 추적 시뮬레이터(knowledge tracing simulator)를 진화 탐색을 통해 사용자별 전문가 데모네이션을 합성하는 용도와, 이러한 데모네이션을 순방향 학습자(feed-forward learner)로 증류하는 배포 불필요 정책을 훈련하는 두 가지 목적으로 사용합니다. 저희 프레임워크인 EVOL은 비대칭 액터-크리틱 구조를 통해 이 파이프라인을 구현하며, 액터는 배포 현실적인 블라인드 플래닝(blind planning)에 전념하고 크리틱은 훈련 중 특권화된 시뮬레이터 상태(privileged simulator state)를 활용합니다. 세 가지 데이터셋(ASSIST15, Junyi, EdNet; 39-189 개념)과 경로 길이 L = 5, 10, 20에 걸쳐 EVOL은 휴리스틱, 순차적, RL, 그래프 강화학습(graph-enhanced RL), LLM 기반 방법 등 8개의 베이스라인을 능가합니다. 나아가 세 가지 모방 전략(BC, AWR, DAPG)을 비교하고 최종 성능이 특정 모방 목적보다는 진화적 전문가의 품질에 의해 결정됨을 보여줍니다.