홍콩 TSA 중국어 시험이 실제로 평가하는 내용과 AI 튜터가 틀리는 이유

저희는 홍콩 학생들을 위한 AI 기반 중국어 튜터인 LUMI Chinese Institute를 구축하기 시작했을 때, 전형적인 에듀테크(edtech) 실수를 저질렀습니다. 바로 많은 독해 지문과 많은 문제들을 생성하고, 양이 곧 제품이라고 가정했던 것입니다.

그 후 저희는 홍콩의 실제 평가 프레임워크인 TSA (Territory-wide System Assessment), HKAT (중학교 1학년 배치고사), 그리고 DSE 중국어 커리큘럼을 기준으로 라이브러리에 있는 모든 지문을 일주일 동안 감사(auditing)했습니다. 이 글은 우리가 배운 내용인데, 그 내용 중 거의 아무것도 명확하지 않았습니다.

1. 홍콩은 여러분이 생각하는 것을 평가하지 않습니다

TSA 독해 지문은 학년별로 엄격한 단어 수 계단식 구조를 따릅니다:

저희가 만든 원래의 지문들은 이 범위보다 최대 25% 적거나 많았습니다. 사소하게 들리나요? 그렇지 않습니다. P4 학생이 160자로 된 지문으로 연습하는 것은 P3 수준의 자료로 학습하는 것이며, 실제 시험에서는 준비되지 않은 상태로 임하게 됩니다. 단어 수는 형식(formatting)이 아니라 난이도 규격 그 자체입니다.

2. 모든 답은 본문에서 찾아야 합니다

홍콩 엘리트 학교 시험 설계에서 가장 중요한 규칙은 다음과 같습니다: 모든 질문의 답은 지문에 직접적으로 위치해야 합니다. 답이 선생님 머릿속에 있는 추론형 문제는 없습니다. 저희 감사 결과, '어려운 문제'라고 생각했던 것들은 사실 모호한 문제들이었습니다. 즉, 본문만으로는 답할 수 없어서 신중하게 읽는 독자에게 불리하게 작용하는 것이었죠. 이 모든 것은 삭제되었습니다.

3. 오답 선택지는 어휘 목록에서 오는 것이 아니라 지문 내부에서 나옵니다

이것은 직관에 반하는 부분이었습니다. 홍콩 스타일의 좋은 빈칸 채우기(cloze, fill-in-the-blank) 문제는 오답 옵션을 _지문 내 다른 곳에 등장하는 단어들_로부터 가져옵니다. 이는 학생이 단순히 더 많은 어휘를 암기했는지 여부를 테스트하는 것이 아니라, 문맥 속에서 유사한 단어들을 구별할 수 있는지(discriminate)를 테스트합니다.

일반적인 AI 질문 생성기는 이 부분을 끊임없이 잘못 처리합니다. 그들은 빈도사전(frequency dictionary)에서 오답지(distractors)를 가져와, 실제로는 정답보다 더 그럴듯한 오답지를 만들어내는 질문을 만듭니다. 저희는 결국 원문 텍스트에 존재하지 않는 모든 오답지를 표시하여 사람이 검토하도록 하는 감사 스크립트(audit script)를 작성하게 되었습니다.

4. 질문 순서는 텍스트 순서를 따른다

질문 1의 답은 초반 단락에 위치해야 하고, 질문 5의 답은 거의 끝 부분에 있어야 합니다. 이러한 '순차적 원칙(sequential principle)'은 인지 부하를 줄이고 실제 시험지의 구조를 반영합니다. 대부분의 퀴즈 앱에서 기본으로 하는 무작위 질문 순서는 학생들이 시험 형식에 역행하도록 적극적으로 훈련시킵니다.

5. 능력 사다리(ability ladder)는 다음과 같다: 회상 → 설명 → 재구성 → 확장 → 평가

DSE는 다섯 가지 독해 수준을 정의합니다. 잘 구성된 질문 세트는 단일 지문 내에서 이 사다리를 따라 올라갑니다: 어휘 문제, 검색 문제(retrieval question), '저자는 왜...?'라는 질문, 그리고 개방형 응답이 이어집니다. 저희의 첫 번째 질문 은행은 80%가 회상에 치중되어 있었습니다. 재구축된 은행은 혼합을 강제합니다.

이를 통해 우리가 구축한 것

훔쳐갈 수 있는 세 가지 요소:

1. 작성된 명세서(written spec). 학년별 단어 수, 단락 구조 규칙(P4 이상은 ≥3개의 의미 있는 단락 필요), 질문 유형 커버리지 매트릭스(학년당 6가지 핵심 질문 유형 모두 요구: 구두점, 문장 재구성, 확장, 그림-문장 연결, MCQ, 단답형).
2. 회귀 감사 스크립트(regression audit script). 모든 콘텐츠 변경에 대해 실행됩니다: 단어 수 준수 여부, 빈칸 채우기 정답의 텍스트 내 존재 여부, MCQ 인덱스 유효성, 인용구 일관성, 단락 개수. 실패 시 배포 차단. 저희의 콘텐츠 CI(Continuous Integration)와 같습니다.
3. 삭제하는 규율. 사다리를 충족하지 못한 56개의 지문을 제거하거나 다시 작성했습니다. 라이브러리의 3분의 1을 포기하고 나머지 3분의 2를 출시한 것이 우리가 내린 최고의 결정이었습니다.

홍콩 교육 시장을 위한 어떤 것을 구축하고 있다면: 이곳의 학부모들은 평가 설계에 대해 매우 정교한 소비자들입니다. 그들은 당신의 샘플 문제를 읽어볼 것입니다. '콘텐츠'처럼 보이는 제품 표면은 사실상 당신의 규격 준수(spec compliance)를 의미합니다.

저희는 lumi-chinese.com에 있습니다. 재구축된 문제 은행이 실제로 어떻게 작동하는지 보고 싶다면 24시간 무료 체험을 할 수 있습니다.