GIM: 여러 인지 영역을 통합하는 과제를 통한 모델 평가

요약

GIM(Grounded Integration Measure)은 지식 암기와 추론을 분리하지 않고, 광범위한 지식 위에서 여러 인지 연산을 통합적으로 수행해야 하는 820개의 독창적인 문제를 제공하는 새로운 벤치마크입니다. 이 벤치마크는 IRT(Item Response Theory) 모델을 사용하여 모델의 능력을 정밀하게 추정하며, 테스트 시간 연산(test-time compute)과 모델 성능 간의 트레이드오프를 분석합니다.

핵심 포인트

• 기존 벤치마크의 한계인 지식 암기 의존성 및 추론의 맥락 결여 문제를 해결하기 위해 통합적 인지 영역 평가를 지향함
• 제약 조건 만족, 상태 추적, 인식적 경계 등 다양한 인지 연산을 요구하는 전문가 작성 문제로 구성됨
• IRT(문항 반응 이론) 모델을 도입하여 데이터 왜곡 상황에서도 모델의 능력을 정확하게 정렬하고 추정함
• 테스트 시간 연산(test-time compute)과 양자화(quantization)가 모델 성능에 미치는 영향을 광범위하게 조사함