AI 벤치마크는 모델의 역량을 추정하고, 시스템을 순위 매기며, 정보가 풍부한 예시를 선택하고, 벤치마크 품질을 진단하기 위해 아이템 수준의 통계 모델, 특히 문항 반응 이론 (Item Response Theory, IRT)을 점점 더 많이 활용하고 있습니다. 그러나 AI 벤치마크 데이터는 표준 IRT 추정 도구가 원래 개발되었던 인간 테스트의 데이터 체제 (data regime)에서 벗어나는 경우가 많습니다. 벤치마크는 일반적으로 평가되는 모델의 수는 더 적고, 문항 (items)의 수는 훨씬 더 많으며, 역량 분포가 왜곡되거나, 군집화되거나, 다봉형 (multimodal)일 수 있습니다. 우리는 이러한 체제 불일치가 AI 평가를 위한 IRT 모델링의 신뢰성에 어떤 도전 과제를 제기하는지 조사합니다. 널리 사용되는 6가지 LLM 벤치마크에서 도출된 문항 매개변수 (item parameters) 및 역량 분포를 사용하여, 세 가지 일반적인 IRT 모델 하에서 응답 행렬을 시뮬레이션하고 최근 벤치마크 연구에서 사용되는 네 가지 추정 도구인 주변 최대 우도법 (marginal maximum likelihood), 마르코프 연쇄 몬테카를로 (Markov chain Monte Carlo), 변분 추론 (variational inference), 그리고 신경망 의사-샴 네트워크 추정기 (neural pseudo-Siamese estimator)를 비교합니다. 18,000개의 시뮬레이션 조건에 걸쳐, 우리는 계산 가능성, 확장성, 그리고 모델 순위, 예측 성능 및 문항 특성에 대한 IRT 추론의 신뢰성을 체계적으로 평가합니다. 결과에 따르면, 고전적인 추정기들은 대규모 벤치마크 설정에서 실행 불가능해질 수 있는 반면, 확장 가능한 추정기들은 모델 집합이 작거나 정규 분포를 따르지 않을 경우 신뢰할 수 없는 문항 수준 및 순위 추론을 생성할 수 있음을 보여줍니다. 본 연구는 잠재 특성 모델 (latent trait models)이 언제 AI 벤치마킹 주장을 안정적으로 뒷받침하는지 또는 왜곡할 위험이 있는지, 그리고 신뢰할 수 있는 사용을 위해 어떤 표본 크기와 진단이 필요한지를 식별합니다.