LLM 추론 흔적 내 인지적 에피소드를 통한 해석 가능한 인간 문항 난이도 예측

인간의 문항 난이도 (item difficulty)를 예측하는 것은 교육 평가의 핵심이며, 신뢰할 수 있는 추정치는 공정성과 효과적인 시험 구축을 지원합니다. 기존 방법들은 종종 비용이 많이 드는 인간 보정 (human calibration)이나 문항 수준의 텍스트 표현에 의존하며, 문항을 어렵게 만드는 인지 과정 (cognitive processes)에 대한 증거를 제한적으로 제공합니다. 우리는 난이도가 단순히 문항 텍스트의 속성일 뿐만 아니라, 문항이 유도하는 문제 해결 부담 (problem-solving burden)의 관찰 가능한 결과로 간주되어야 한다고 주장합니다. 대규모 추론 모델 (Large Reasoning Models, LRMs)은 추론 흔적 (reasoning traces)을 통해 확장 가능한 프로세스 증거를 제공하지만, 이러한 증거는 해석 가능한 모델링을 지원할 수 있도록 구조화되어야 합니다. 이를 위해, 우리는 LRM 추론 흔적을 인지적으로 근거가 있는 에피소드 시퀀스 (episode sequences)로 매핑하는 프레임워크인 Epi2Diff (Episode to Difficulty)를 소개합니다. 이 에피소드들은 추론 세그먼트를 기능적인 문제 해결 상태 (problem-solving states)로 그룹화하여, 추론 규모 (reasoning scale), 노력 할당 (effort allocation), 그리고 상태 전이 (state transitions)를 통해 난이도를 모델링할 수 있게 합니다. Epi2Diff는 압축된 에피소드 역학 특징 (episode-dynamic features)을 추출하고 이를 의미론적 문항 표현 (semantic item representations)과 결합하여 인간의 난이도를 예측합니다. 네 가지 실제 인간 난이도 데이터셋에 대한 실험 결과, Epi2Diff는 미세 조정된 소규모 언어 모델 (small language models), LLM 인컨텍스트 러닝 (in-context learning), 그리고 지도 학습 기반 LLM 적응 (supervised LLM adaptation)을 포함한 강력한 베이스라인 모델들을 일관되게 능가함을 보여주었습니다. SAT 유래 분류 벤치마크에서 Epi2Diff는 지도 학습 기반 LLM 미세 조정 (fine-tuning) 베이스라인 대비 평균 8.1%의 상대적 이득을 달성했습니다. 추가 분석에 따르면, 더 어려운 문항은 단순히 더 긴 응답을 생성하는 것이 아니라, 더 많은 노력이 필요하고 반복적이며 구현 중심적인 에피소드 역학을 유도합니다. 이러한 결과는 LRM 추론 흔적 내의 인지적 에피소드가 인간 문항 난이도에 대한 예측 가능하고 해석 가능한 프로세스 표현을 제공하며, 추론 모델을 활용한 교육 측정 (educational measurement)의 새로운 관점을 제시함을 입증합니다.