합의가 타당성을 의미하지 않는다: K-12 수학 튜터링 대화에서 크로스 모델 LLM 합의 진단

K-12 수학 튜터링에서 학생-튜터 대화는 학습자의 문제 해결 과정과 어려움의 원인에 대한 풍부한 증거를 제공합니다. 학습 분석 연구는 지식 추적(knowledge tracing), 행동 모델링, 그리고 학생 추론 오류 진단 등 다양한 다운스트림 작업을 위해 이러한 정보를 대화로부터 추출하기 위해 대규모 언어 모델(LLMs)에 점점 더 의존하고 있습니다. 그러나 이 모델이 생성한 해석의 타당성은 여전히 충분히 이해되지 않은 상태입니다. 본 탐색 연구에서는 운영적 진단 코드북을 사용하여 수학 튜터링 대화에서 학생 실패 모드 다섯 가지—불확실성(uncertainty), 오귀속(misattribution), 연산자 선택(operator selection), 개념적 격차(conceptual gap), 절차적 실수(procedural slip)—에 대한 LLM 분류의 타당성을 검토합니다. 모델 전반에 걸쳐 인간-LLM 합의는 보통 수준이었고(kappa = .524-.597), 반면 크로스 모델 합의는 상당히 높았습니다(kappa = .755-.781; alpha = .769). 이러한 발견은 크로스 모델 합의가 오해를 불러일으키는 정확성의 외관을 만들 수 있으며, LLM 간의 합의가 유효한 학습자 해석의 증거를 구성한다는 가설에 도전합니다. 학습 분석 측면에서 시사점은 명확합니다: 확장 가능한 레이블링은 추론된 구성 개념이 타당할 때만 유용하며, 모델 합의는 그 타당성에 대한 독립적인 증거를 대체할 수 없습니다.