의료 시험 문항의 어려움 요인 분석: 대규모 언어 모델을 활용한 경험적 문항 난이도 관련 패턴 탐색

의료 문항의 난이도에 대한 연구는 주로 해석 가능한 패턴을 식별하기보다는 예측에 초점을 맞춰왔다. 본 연구는 경험적 난이도 레이블을 사용하여 대규모 언어 모델(LLMs)이 난이도 루브릭을 유도하도록 안내하고, 이러한 루브릭 가이드가 LLM의 난이도 판단에 어떻게 영향을 미치는지 조사했다. 미국 의사 면허 시험(USMLE)과 전문 물리 치료사 국가 자격증 시험(PANCE)에서 얻은 훈련 문항 및 해당 경험적 난이도 추정치를 사용하여, Claude Opus 5는 절대 난이도와 쌍별 난이도 판단을 위한 별도의 루브릭을 유도했다. 유도된 루브릭 중 어느 것도 문항 길이, 선택지 개수 또는 이미지를 같은 줄기(stem)의 표면적 특징으로 주요 난이도 원인으로 다루지는 않았다. 두 시험 전반에 걸쳐 단서 수렴(cue convergence), 오해의 소지가 있는 단서(misleading cues), 그리고 선택지 경쟁(option competition)을 포함한 여러 패턴이 나타났으나, 그 구체적인 형태는 달랐다. 특히 PANCE 루브릭에서는 줄기에서 파생될 수 없는 지식 검색이 두드러졌던 반면, USMLE 루브릭은 여러 임상 단서들을 통합하는 것에 더 큰 중점을 두었다. 우리는 비가이드 조건과 루브릭 가이드 조건 하의 보류된 문항(held-out items)에 대해 상용 LLM과 오픈 웨이트 LLM을 비교했다. 루브릭 안내는 모델이 난이도 척도를 사용하는 방식을 변화시켰지만, 성능을 일관되게 개선하지는 못했다. 절대 판단에서 가이드는 척도의 광범위한 사용을 장려했으며 전반적으로 거친(coarse-grained) 합의를 개선했지만, 순위 지정(rank ordering)을 일관되게 개선하지는 못했다. 쌍별 비교에서는 그 효과가 모델과 시험에 따라 달랐으며, 판단이 제시 순서에 더 민감해졌다. 이러한 발견은 레이블 기반 루브릭 유도의 가치가 경험적 난이도 데이터로부터 해석 가능하고 검증 가능한 가설을 생성하는 데 있을 수 있으며, 난이도 판단을 신뢰성 있게 개선하는 데 있는 것은 아닐 수 있음을 시사한다.