주제 범위, 역량 및 인지적 깊이에 따른 커리큘럼 정렬 측정: CS2013 및 CS2023에 적용된 종단적 프레임워크

학부 컴퓨터 과학(Computer Science)은 약 10년에 한 번씩 개정되는 국제 커리큘럼 가이드라인의 통제를 받지만, 프로그램들이 현재의 가이드라인을 얼마나 완전하게 다루고 있는지, 그리고 가이드라인이 재구성될 때 그 범위가 어떻게 변화하는지를 측정할 수 있는 신뢰할 수 있고 재현 가능한 방법이 부족한 실정입니다. 우리는 외부 지식 체계에 대한 프로그램의 커버리지(coverage)를 측정하는 human-in-the-loop 파이프라인을 통해 이 문제를 해결하며, 이를 Computer Science Curricula 2013 (CS2013) 및 2023 (CS2023)에 대하여 한 인증된 컴퓨터 과학 학사(BSc) 과정에 종단적으로 적용하였습니다. 이 파이프라인은 프로그램과 각 가이드라인을 구조화된 코퍼스(corpora)로 나타내고, 시맨틱 검색(semantic retrieval)을 통해 후보 과목-지식 단위 매칭을 생성하며, 명시적인 커버리지 정의 하에 인간의 판단을 통해 이를 확인합니다. 벤치마킹된 7개의 검색기(retriever) 중에서는 reciprocal-rank-fusion 앙상블이 가장 강력했으며, 명성 있는 long-context 모델이 작은 문장 모델보다 성능이 낮게 나타나 검색기 선택을 반드시 측정해야 함을 보여주었습니다. 두 지도(map) 모두 독립적인 제2 평가자에 의해 검증되었습니다 (CS2023의 경우 Cohen's kappa 0.64, CS2013의 경우 0.69). 해당 프로그램은 CS2023 지식 단위의 49.7%, CS2013 지식 단위의 50.9%를 커버하며, 이는 10년에 걸쳐 거의 일정하게 유지되었습니다. 동일한 '검색 후 확인(retrieve-then-confirm)' 설계를 역량 명시(competency articulation) 및 인지적 깊이(cognitive depth)로 확장한 결과, 프로그램은 각 가이드라인에 따라 커버된 단위의 약 88%에 대해 역량을 명시하고 있으나, 권장되는 깊이로 제공하는 비율은 CS2013의 95%에 비해 CS2023에서는 76%로 나타났습니다. 이러한 격차는 프로그램의 문제가 아니라 새로운 가이드라인의 높아진 기대치를 반영합니다. 종단적 비교를 통해 지속적인 구조적 격차(병렬 및 분산 컴퓨팅, 프로그래밍 언어 기초, 시스템 기본 원리)를 두 가이드라인 및 ABET 모두에서 발견하였으며, 이는 표준의 진화를 반영하는 차이점과 구분됩니다. 이 도구는 재사용이 가능하며 요청 시 저자로부터 제공받을 수 있습니다.