Elo Learn 구축하기: 지식 추적(Knowledge Tracing)과 추천 지능을 활용한 설명 가능한 적응형 학습 시스템

전통적인 온라인 학습 플랫폼은 종종 모든 학생을 동일한 방식으로 대합니다.

두 학생이 완전히 다른 강점, 약점, 학습 이력을 가지고 있음에도 불구하고 동일한 레슨, 연습 문제, 추천 사항을 받을 수 있습니다.

저는 머신러닝 (Machine Learning)과 교육 분석 (Educational Analytics)을 결합하여 어떻게 더 개인화된 학습 경험을 만들 수 있을지 탐구하고 싶었습니다.

이는 FastAPI와 Streamlit을 사용하여 구축된 적응형 학습 프로토타입인 Elo Learn의 개발로 이어졌습니다. Elo Learn은 학생의 숙달도 (Mastery)를 모델링하고, 개인화된 학습 경로를 추천하며, 결정 이유를 설명하고, 복습 세션을 자동으로 예약합니다.

목표는 단순히 콘텐츠를 추천하는 것이 아니라, 학생들이 시간이 지남에 따라 어떻게 학습하는지 이해할 수 있는 엔드 투 엔드 (End-to-end) 교육 지능 시스템을 구축하는 것이었습니다.

대부분의 학습 플랫폼은 다음과 같은 단순한 완료 지표 (Completion Metrics)에 의존합니다:

• 레슨 완료
• 퀴즈 통과
• 비디오 시청

이러한 신호들은 실제 이해도에 대해 제한적인 통찰력을 제공합니다.

더 효과적인 시스템은 다음과 같은 질문에 답할 수 있어야 합니다:

• 학생이 진정으로 숙달한 개념은 무엇인가?
• 누락된 선수 학습 주제는 무엇인가?
• 다음에 무엇을 학습해야 하는가?
• 왜 이 추천이 이루어졌는가?
• 개념을 언제 복습해야 하는가?

이러한 질문에 답할 수 있는 시스템을 구축하는 것이 Elo Learn의 핵심 동기가 되었습니다.

이 플랫폼은 여러 AI 기반 구성 요소를 하나의 통합된 파이프라인 (Pipeline)으로 결합합니다.

학생 상호작용 (Student Interactions)
│
▼
베이지안 지식 추적 (Bayesian Knowledge Tracing)
│
▼
학생 숙달도 추정 (Student Mastery Estimation)
│
┌───────────┼────────────────────┐
│ │ │
▼ ▼ ▼
임베딩 (Embeddings) 지식 그래프 (Knowledge Graph) 복습 엔진 (Review Engine)
│ │ │
▼ ▼ ▼
추천 (Recommendations) 준비도 (Readiness) 간격 반복 (Spaced Repetition)
│
▼
설명 가능한 학습 경로 (Explainable Learning Path)

단일 지표에 의존하는 대신, Elo Learn은 여러 교육적 신호를 결합하여 추천을 생성합니다.

첫 번째 과제는 학생의 숙달도를 추정하는 것이었습니다.

이를 달성하기 위해, 저는 베이지안 지식 추적 (Bayesian Knowledge Tracing, BKT)을 구현했습니다.

BKT는 학생의 과거 상호작용을 기반으로 학생이 특정 개념을 숙달했을 확률을 모델링합니다.

학습을 이진법(binary)으로 처리하는 대신, 모델은 새로운 증거가 확보됨에 따라 신뢰도 점수(confidence scores)를 지속적으로 업데이트합니다.

이를 통해 플랫폼은 다음과 같은 상태를 구분할 수 있습니다:

• 숙달된 개념
• 보충 학습이 필요한 개념
• 아직 학습되지 않은 개념

지식 추적 (Knowledge Tracing)은 숙달도 추정치를 제공하지만, 더 넓은 범위의 행동적 유사성을 포착하지는 못합니다.

이를 해결하기 위해, 저는 학생 및 주제 임베딩 (student and topic embeddings)을 생성했습니다.

이러한 표현 방식(representations)을 통해 시스템은 다음과 같은 작업을 수행할 수 있습니다:

• 학생 간의 학습 패턴 비교
• 유사한 학습자 식별
• 관련 개념 발견
• 추천 품질 향상

임베딩 기반 표현 방식은 단순한 점수 추적을 넘어 더욱 풍부한 개인화 (personalization)를 가능하게 합니다.

지식 그래프 (Knowledge Graph) 구축
Elo Learn의 가장 중요한 구성 요소 중 하나는 개념 그래프 (concept graph)입니다.

학습은 좀처럼 고립된 상태에서 일어나지 않습니다.

예를 들어:

대수학 (Algebra)
↓
함수 (Functions)
↓
미적분학 (Calculus)

미적분학에서 어려움을 겪는 학생은 실제로는 선수 개념 (prerequisite concepts)에 결손이 있을 수 있습니다.

지식 그래프를 통해 플랫폼은 다음과 같은 기능을 수행할 수 있습니다:

• 개념 간의 의존성 식별
• 준비도 점수 (readiness scores) 계산
• 선수 학습 자료 추천
• 보충 학습 경로 (remediation pathways) 생성

이는 추천을 교육적으로 훨씬 더 의미 있게 만듭니다.

추천 시스템은 종종 블랙박스 (black boxes)로 작동합니다.

저는 Elo Learn이 투명성을 제공하기를 원했습니다.

단순히 주제를 추천하는 대신, 플랫폼은 다음과 같은 내용을 설명합니다:

• 해당 주제가 선택된 이유
• 어떤 개념이 추천에 영향을 미쳤는지
• 현재 숙달 수준
• 신뢰도 점수
• 선수 학습 준비도

이는 신뢰를 구축하며, 학생과 강사 모두가 추천 뒤에 숨겨진 논리를 이해하도록 돕습니다.

학습은 개념을 숙달했다고 해서 끝나는 것이 아닙니다.

강화 (reinforcement)가 없다면 지식은 시간이 지남에 따라 퇴화합니다.

이러한 과제를 해결하기 위해, Elo Learn은 SM2에서 영감을 받은 간격 반복 (spaced repetition) 알고리즘을 통합합니다.

복습 엔진은:

개념 숙달도 추적 (Tracks concept mastery)

최적의 복습 간격 계산 (Calculates optimal review intervals)

복습이 필요한 개념 식별 (Identifies overdue concepts)

복습 세션 우선순위 지정 (Prioritizes revision sessions)

이를 통해 학생들은 불필요한 복습 노력을 줄이면서 지식을 더욱 효과적으로 유지할 수 있습니다.

이 플랫폼은 학생뿐만 아니라 교육자를 위해서도 설계되었습니다.

강사 대시보드 (Instructor dashboards)는 다음을 제공합니다:

코호트 분석 (Cohort Analytics)
학급 전체의 성과 및 숙달 트렌드를 추적합니다.

위험 학생 탐지 (At-Risk Student Detection)
개입이 필요한 학생을 식별합니다.

취약 주제 식별 (Weak Topic Identification)
광범위한 어려움을 유발하는 개념을 강조합니다.

이러한 분석은 학생의 가공되지 않은 상호작용을 실행 가능한 교육적 통찰력 (actionable educational insights)으로 변환합니다.

백엔드 아키텍처 (Backend Architecture)
백엔드는 FastAPI를 사용하여 구축되었으며 모듈형 구성 요소로 조직되었습니다.

backend/
frontend/
recommendation_engine/
knowledge_graph/
ml_models/
datasets/
tests/

시스템은 다음을 위한 엔드포인트 (endpoints)를 노출합니다:

숙달도 추정 (Mastery estimation)

추천 생성 (Recommendation generation)

지식 그래프 추론 (Knowledge graph reasoning)

코호트 분석 (Cohort analytics)

복습 일정 관리 (Review scheduling)

이러한 분리는 실험과 향후 확장을 용이하게 만듭니다.

최종 시스템은 다음을 포함합니다:

베이지안 지식 추적 (Bayesian Knowledge Tracing)

학생 및 개념 임베딩 (Student and concept embeddings)

지식 그래프 추론 (Knowledge graph reasoning)

설명 가능한 추천 (Explainable recommendations)

간격 반복 일정 관리 (Spaced repetition scheduling)

코호트 분석 (Cohort analytics)

강사 대시보드 (Instructor dashboards)

FastAPI REST API

Streamlit 시각화 인터페이스 (Streamlit visualization interface)

Elo Learn을 구축하면서 몇 가지 흥미로운 과제들이 드러났습니다.

교육 데이터는 복잡합니다 (Educational Data Is Complex)
학생의 성과가 항상 이해도를 나타내는 신뢰할 수 있는 지표는 아닙니다.

설명 가능성은 필수적입니다 (Explainability Is Essential)
추천에 추론 과정이 동반될 때 추천은 훨씬 더 유용해집니다.

지식 그래프 설계가 중요합니다 (Knowledge Graph Design Matters)
잘못된 선수 학습 관계 (prerequisite relationships)는 부적절한 추천을 생성할 수 있습니다.

다중 신호가 단일 지표보다 우수합니다 (Multiple Signals Outperform Single Metrics)
숙달도 추정, 그래프 추론, 임베딩을 결합하는 것이 개별 구성 요소 중 어느 하나보다 더 의미 있는 추천을 생성했습니다.

Elo Learn을 더욱 강력하게 만들 수 있는 몇 가지 방향이 있습니다:

개념 추론을 위한 그래프 신경망 (Graph Neural Networks for concept reasoning)

Transformer를 이용한 심층 지식 추적 (Deep Knowledge Tracing using Transformers)

실시간 적응형 평가 (Real-time adaptive assessments)

추천 정책을 위한 강화학습 (Reinforcement learning for recommendation policies)

클라우드 인프라를 활용한 대규모 배포 (Large-scale deployment with cloud infrastructure)

학습 관리 시스템 (Learning Management Systems)과의 통합

Elo Learn은 적응형 학습 시스템 (adaptive learning systems)에 대한 탐구로 시작하여, 완전한 교육 지능 플랫폼 (educational intelligence platform)으로 진화했습니다.

여기에서 확인해 보세요 -> https://github.com/Shridipa/Elo-Learn

베이지안 지식 추적 (Bayesian Knowledge Tracing), 지식 그래프 (knowledge graphs), 추천 시스템 (recommendation systems), 설명 가능성 (explainability), 그리고 간격 반복 (spaced repetition)을 결합함으로써, 이 프로젝트는 여러 AI 기술이 어떻게 협력하여 개인화된 교육을 지원할 수 있는지를 보여줍니다.

Elo Learn을 구축하며 얻은 가장 큰 교훈은, 효과적인 학습 추천을 위해서는 학생이 무엇을 좋아할지 예측하는 것 이상의 것이 필요하다는 점입니다. 그것은 학생이 무엇을 알고 있는지, 다음에 무엇을 배울 준비가 되었는지, 그리고 왜 특정 학습 경로가 타당한지를 이해하는 것을 필요로 합니다.