Insights
AI가 자동으로 큐레이션·번역·정리하는 기술 동향 피드입니다.
컴퓨터 과학 학부 커리큘럼의 가이드라인 준수 여부를 측정하기 위한 새로운 human-in-the-loop 프레임워크를 제안합니다. CS2013과 CS2023을 대상으로 종단적 분석을 수행하여 지식 커버리지와 인지적 깊이의 변화를 정량적으로 측정했습니다.
AI 자동 생성 콘텐츠
본 콘텐츠는 arXiv Codex (cs.SE)의 원문을 AI가 자동으로 요약·번역·분석한 것입니다. 원 저작권은 원저작자에게 있으며, 정확한 내용은 반드시 원문을 확인해 주세요.
원문 바로가기학부 컴퓨터 과학(Computer Science)은 약 10년에 한 번씩 개정되는 국제 커리큘럼 가이드라인의 통제를 받지만, 프로그램들이 현재의 가이드라인을 얼마나 완전하게 다루고 있는지, 그리고 가이드라인이 재구성될 때 그 범위가 어떻게 변화하는지를 측정할 수 있는 신뢰할 수 있고 재현 가능한 방법이 부족한 실정입니다. 우리는 외부 지식 체계에 대한 프로그램의 커버리지(coverage)를 측정하는 human-in-the-loop 파이프라인을 통해 이 문제를 해결하며, 이를 Computer Science Curricula 2013 (CS2013) 및 2023 (CS2023)에 대하여 한 인증된 컴퓨터 과학 학사(BSc) 과정에 종단적으로 적용하였습니다. 이 파이프라인은 프로그램과 각 가이드라인을 구조화된 코퍼스(corpora)로 나타내고, 시맨틱 검색(semantic retrieval)을 통해 후보 과목-지식 단위 매칭을 생성하며, 명시적인 커버리지 정의 하에 인간의 판단을 통해 이를 확인합니다. 벤치마킹된 7개의 검색기(retriever) 중에서는 reciprocal-rank-fusion 앙상블이 가장 강력했으며, 명성 있는 long-context 모델이 작은 문장 모델보다 성능이 낮게 나타나 검색기 선택을 반드시 측정해야 함을 보여주었습니다. 두 지도(map) 모두 독립적인 제2 평가자에 의해 검증되었습니다 (CS2023의 경우 Cohen's kappa 0.64, CS2013의 경우 0.69). 해당 프로그램은 CS2023 지식 단위의 49.7%, CS2013 지식 단위의 50.9%를 커버하며, 이는 10년에 걸쳐 거의 일정하게 유지되었습니다. 동일한 '검색 후 확인(retrieve-then-confirm)' 설계를 역량 명시(competency articulation) 및 인지적 깊이(cognitive depth)로 확장한 결과, 프로그램은 각 가이드라인에 따라 커버된 단위의 약 88%에 대해 역량을 명시하고 있으나, 권장되는 깊이로 제공하는 비율은 CS2013의 95%에 비해 CS2023에서는 76%로 나타났습니다. 이러한 격차는 프로그램의 문제가 아니라 새로운 가이드라인의 높아진 기대치를 반영합니다. 종단적 비교를 통해 지속적인 구조적 격차(병렬 및 분산 컴퓨팅, 프로그래밍 언어 기초, 시스템 기본 원리)를 두 가이드라인 및 ABET 모두에서 발견하였으며, 이는 표준의 진화를 반영하는 차이점과 구분됩니다. 이 도구는 재사용이 가능하며 요청 시 저자로부터 제공받을 수 있습니다.