Curriculum Brain: 인지 진단용 커리큘럼 지식 그래프 구축 방안

인지 진단 모델(Cognitive Diagnostic Models, CDMs)은 학생이 어떤 특정 기술을 숙달했고 그렇지 않은지를 식별하며, 이는 개인화된 학습 경로가 필요로 하지만 단일 집계 점수로는 제공할 수 없는 신호입니다. 그러나 이 모델들은 거의 배포되지 않고 있습니다. 장애물은 그 전제 조건에 있습니다: 즉, 평가 항목 각각이 요구하는 기술을 매핑하는 Q-행렬(Q-matrix)이며, 이는 역사적으로 수작업으로 작성되었습니다. 우리는 이 작업을 두 단계로 분리합니다: 첫째, 어떤 항목과도 독립적인 커리큘럼 자체의 지식 그래프, 즉 포함된 개념과 기술의 전체 공간을 구축하고; 둘째, 필요할 때마다 항목들을 그 그래프에 매핑하는 것입니다. 본 논문은 첫 번째 단계만을 다룹니다. 항목 매핑 단계는 설계되었지만 여기서는 구현되지 않았으므로, 이것이 판단 비용을 항목당 한 번에서 커리큘럼당 한 번으로 전환한다는 주장은 발견이라기보다는 설계 근거입니다. 우리는 버전 제어 지식 기반과 얇은 결정론적 오케스트레이터(deterministic orchestrator) 아래에 있는 11개의 단일 책임 에이전트(single-responsibility agents)를 결합한 두 개의 저장소 시스템인 Curriculum Brain을 제시합니다. 이 시스템은 공식 커리큘럼 문서를 통해 후보 개념-기술 매핑을 생성하고, 이를 축적된 규칙과 대조하며, 교과서에서 독립적으로 추출된 개념-기술 맵과 비교하여 자체적인 실패를 복구하고 스스로 해결할 수 없을 때만 인간에게 에스컬레이션합니다. 총 241개 챕터 실행(168개의 고유 챕터)을 거치면서, 41.5%는 패치 없이 두 가지 검사를 모두 통과하는 Generator 출력을 생성했으며, 67.6%는 에스컬레이션 없이 해결되었습니다. 이 수치들은 시스템 자체가 산출한 기준에 의해 측정되었으므로, 외부 표준과의 일치보다는 내부적 일관성을 설명하며, 둘 다 실행 77에서 단 하나의 변경으로 분리된 두 가지 파이프라인 구성을 통합합니다. 이후의 수치는 각각 57.0%와 91.5%입니다. 관찰된 비용은 인간 검토를 제외한 API 비용만 $1.19/챕터였습니다. 우리는 프레임워크와 결과로 얻어진 커리큘럼 데이터셋을 모두 공개합니다.