통계적 진지함의 중요성: GSM-Symbolic에 대한 비판적 재평가

GSM-Symbolic 벤치마크 (Mirzadeh et al., 2025)는 GSM8K 문제의 템플릿 생성 변형(template-generated variants)으로 테스트했을 때 25개의 대규모 언어 모델 (LLMs) 전반에서 일관된 성능 저하가 보고되었으며, 이를 통해 모델들이 진정한 추론 능력 (reasoning capabilities)이 부족하다고 결론지었습니다. 우리는 이 결론이 불안정한 통계적 근거에 기반하고 있다고 주장합니다. 질문별 랜덤 효과 (per-question random effects)를 포함한 일반화 선형 혼합 모델 (Generalized Linear Mixed Models, GLMM)을 사용하여 20개의 오픈 웨이트 (open-weight) 모델을 재평가한 결과, 원래의 프롬프트 형식 (prompt format) 하에서 통계적으로 유의미한 성능 변화를 보이는 모델은 절반에 불과하다는 것을 발견했습니다. 또한, 우리는 이전에 인지되지 않았던 요인을 식별했습니다. 즉, 주요 GSM-Symbolic 데이터셋은 GSM-Base와 비교했을 때 문제 텍스트 내의 더 큰 정수 (larger integers) 분포가 체계적으로 편향되어 있으며 (K-S 통계량 = 0.12, p < 0.001), 이는 원저자들의 주장과 모순됩니다. 이러한 큰 숫자 효과 (large number effect)를 통제했을 때, 나머지 사례 중 약 절반에서 유의성이 설명됩니다. 통계적으로 유의미한 성능 차이 (performance deltas)를 보이는 모델들 사이에서, 우리는 변수 바인딩 (variable binding)의 취약성, 산술적 한계 (arithmetic limitations), 그리고 이중 작업 간섭 (dual-task interference)을 포함하여 모델별로 뚜렷한 실패 프로필 (failure profiles)을 식별했습니다. 이는 LLM 추론에 대한 포괄적인 주장이 통계적으로 시기상조이며 기계론적으로 오해의 소지가 있음을 강조합니다.