문항 풀의 품질 보증을 위한 분석 도구 (AQuAP): AI 기반 평가 시스템에서의 문항 은행 건강 상태 모니터링 및 유지 관리

교육 평가의 대규모 디지털화로 인해 문항 은행 (item banks)에 대한 지속적인 감독이 필수적이면서도 복잡한 과제가 되었습니다. 본 논문은 문항 품질과 문항 은행의 건강 상태를 모니터링하기 위한 대시보드 환경인 Analytics for Quality Assurance for Item Pools (AQuAP)를 제시합니다. AQuAP는 자동화 및 인간 지원형 시험 개발 프레임워크인 Item Factory에 포함된, 고부담 시험 (high-stakes tests)을 위한 대규모 문항 생성 절차의 운영적 구현을 지원합니다. 본 논문은 문항 개발 프로세스와의 관계 속에서 AQuAP를 설명하고, 문항 풀 (item-pool) 품질 보증을 위한 광범위한 지표 프레임워크를 개괄하며, 풀의 활력을 나타내는 핵심 지표 중 하나인 유효 은행 크기 (Effective Bank Size, EBS)를 강조합니다. EBS는 콘텐츠 반복이 발생하기 전까지 얼마나 많은 독립적인 시험 세션을 구성할 수 있는지를 정량화하며, 노출 (exposure) 및 사용 (usage) 지표와 결합될 때 문항 은행의 보안성, 다양성 및 효율성에 대한 통찰을 제공합니다. 나아가 우리는 최대 노출 (maximum exposure), 최대 조건부 노출 (maximum conditional exposure), 조정된 유효 은행 크기 (adjusted effective bank size), 그리고 드물게 시행되는 비율 (rarely-administered fraction)과 같은 은행 건강 지표를 도입하며, 이들은 모두 문항 활용에 대한 시야를 확장합니다. AQuAP는 운영 분석 (operational analytics)이 어떻게 심리측정학적 (psychometric) 개념을 대규모 AI 지원 시험 프로그램의 품질 보증 도구로 변환할 수 있는지를 보여줍니다. 본 연구는 Duolingo English Test (DET) 프로세스를 통해 설명됩니다.