Insights
AI가 자동으로 큐레이션·번역·정리하는 기술 동향 피드입니다.
GSM-Symbolic 벤치마크가 LLM의 추론 능력 부족을 주장한 결론에 대해 통계적 재평가를 수행합니다. GLMM 분석 결과, 성능 저하의 상당 부분이 큰 숫자 분포와 같은 데이터 편향에 기인하며, 모델별 실패 프로필이 상이함을 밝힙니다.
AI 자동 생성 콘텐츠
본 콘텐츠는 arXiv cs.AI의 원문을 AI가 자동으로 요약·번역·분석한 것입니다. 원 저작권은 원저작자에게 있으며, 정확한 내용은 반드시 원문을 확인해 주세요.
원문 바로가기GSM-Symbolic 벤치마크 (Mirzadeh et al., 2025)는 GSM8K 문제의 템플릿 생성 변형(template-generated variants)으로 테스트했을 때 25개의 대규모 언어 모델 (LLMs) 전반에서 일관된 성능 저하가 보고되었으며, 이를 통해 모델들이 진정한 추론 능력 (reasoning capabilities)이 부족하다고 결론지었습니다. 우리는 이 결론이 불안정한 통계적 근거에 기반하고 있다고 주장합니다. 질문별 랜덤 효과 (per-question random effects)를 포함한 일반화 선형 혼합 모델 (Generalized Linear Mixed Models, GLMM)을 사용하여 20개의 오픈 웨이트 (open-weight) 모델을 재평가한 결과, 원래의 프롬프트 형식 (prompt format) 하에서 통계적으로 유의미한 성능 변화를 보이는 모델은 절반에 불과하다는 것을 발견했습니다. 또한, 우리는 이전에 인지되지 않았던 요인을 식별했습니다. 즉, 주요 GSM-Symbolic 데이터셋은 GSM-Base와 비교했을 때 문제 텍스트 내의 더 큰 정수 (larger integers) 분포가 체계적으로 편향되어 있으며 (K-S 통계량 = 0.12, p < 0.001), 이는 원저자들의 주장과 모순됩니다. 이러한 큰 숫자 효과 (large number effect)를 통제했을 때, 나머지 사례 중 약 절반에서 유의성이 설명됩니다. 통계적으로 유의미한 성능 차이 (performance deltas)를 보이는 모델들 사이에서, 우리는 변수 바인딩 (variable binding)의 취약성, 산술적 한계 (arithmetic limitations), 그리고 이중 작업 간섭 (dual-task interference)을 포함하여 모델별로 뚜렷한 실패 프로필 (failure profiles)을 식별했습니다. 이는 LLM 추론에 대한 포괄적인 주장이 통계적으로 시기상조이며 기계론적으로 오해의 소지가 있음을 강조합니다.