LLM (Large Language Model) 벤치마크가 포화됨에 따라, 평가 커뮤니티는 난이도를 높이기 위해 두 가지 전략을 추구해 왔습니다. 지식 요구 사항을 높이거나 (GPQA, HLE), 추상적 추론 (ARC-AGI)을 위해 지식을 완전히 제거하는 것입니다. 첫 번째 방식은 암기와 능력을 혼동하며, 두 번째 방식은 추론을 그것이 중요한 실제 맥락으로부터 분리합니다. 우리는 다른 접근 방식을 취합니다. Grounded Integration Measure (GIM)은 통합을 통해 난이도가 발생하는 820개의 독창적인 문제(공개 615개, 비공개 205개)로 구성된 벤치마크입니다. 개별 문제는 광범위하게 접근 가능한 지식 위에서 여러 인지 연산(제약 조건 만족 (constraint satisfaction), 상태 추적 (state tracking), 인식적 경계 (epistemic vigilance), 청중 교정 (audience calibration))을 조정할 것을 요구하므로, 추론이 전문 지식에 의해 제한되지 않으면서도 현실적인 과제에 근거를 두도록 합니다. 각 문제는 전문가가 직접 작성한 독창적인 구성물이며, 대다수는 루브릭으로 분해된 채점 방식(중앙값 6개의 독립적으로 판단된 기준)을 따릅니다. 균형 잡힌 공개-비공개 분할은 내장된 오염 진단 기능을 제공합니다. 우리는 28개 모델에 걸친 20만 개 이상의 프롬프트-응답 쌍에 대해 연속 응답 2-매개변수 로지스틱 (2PL) IRT (Item Response Theory) 모델을 교정하여, 원시 정확도가 오류나 누락된 데이터로 인해 왜곡될 때도 테스트 구성의 순서를 올바르게 정렬하는 강력한 능력 추정치를 생성함으로써 벤치마크 보고의 일반적인 과제를 해결합니다. 이 프레임워크를 사용하여, 우리는 22개 모델과 47개 테스트 구성(고유 모델, 사고 수준 쌍)을 아우르는 포괄적인 리더보드를 제시하며, 우리가 아는 한 고정된 벤치마크에서 테스트 시간 연산 (test-time compute)이 모델 능력과 어떻게 트레이드오프(trade-off)되는지에 대한 가장 광범위하게 발표된 연구를 수행합니다: 11개 모델을 35개 테스트 구성에 걸쳐 조사하였습니다. 우리는 사고 예산 (thinking budget) 및 양자화 (quantization)와 같은 동일 계열 내의 구성 선택이 모델 선택만큼 중요하다는 것을 관찰했습니다. 우리는 평가 프레임워크, 교정된 IRT 매개변수 및 모든 공개 문제를 공개합니다.