누가 이드(Eid)에 이스터 에그를 가져왔는가? 다양한 언어와 지역에 걸친 수학 문장제 문제의 문화적 번역 감사

대규모 언어 모델 (LLM)은 대규모의 개인화된 학습을 위해 수학 문장제 문제 (math word problems)를 조정하는 데 점점 더 많이 사용되고 있지만, 이러한 조정이 모델 간에 일관된지, 대규모로 문화적 다양성을 보존하는지, 그리고 모델이 어떤 문화적 엔티티 (entities)를 가장 두드러진 것으로 취급하는지를 밝혀내는 것은 여전히 미해결 과제로 남아 있습니다. 우리는 Claude Opus 4, GPT-4.1, 그리고 Gemini 2.5 Pro가 60개의 영어 수학 문장제 문제를 벵골어, 힌디어, 펀자브어 (인도), 우르두어, 신디어 (파키스탄), 이탈리아어, 시칠리아어 (이탈리아)로 어떻게 조정하는지 분석합니다. 이 언어 세트는 고자원 언어인 이탈리아어와 힌디어부터 연구가 부족한 신디어, 시칠리아어, 펀자브어에 이르기까지 전체 자원 스펙트럼을 아우릅니다. 우리는 6,489개의 엔티티 변환 (entity transformations)을 주석 처리하여, 모델이 이름, 음식, 장소와 같은 엔티티를 보존하는지, 현지화 (localize)하는지, 일반화 (generalize)하는지, 생략 (omit)하는지, 또는 변경 (change)하는지를 코딩했습니다. 모델들은 변환 유형에 대해서는 62.5%의 사례에서 일치했으나, 구체적인 대체 (substitutions)에 대해서는 33.5%만 일치했습니다. 이는 모델의 선택이 학생들이 접하게 될 문화적 세계를 직접적으로 형성함을 의미합니다. 21개의 모든 언어-모델 조합은 엔트로피 붕괴 (entropy collapse)를 보여주었으며, 이는 조정 과정이 문화적 다양성을 확장하기보다는 압축하고 있음을 나타냅니다. 모델들은 이름, 음식, 통화와 같은 표면적 표식 (surface markers)을 우선시하는 반면, 문화적으로 특정한 가정을 내포하는 학년 시스템과 같은 더 깊은 구조적 특징은 보존합니다. 대상 국가를 지정하는 프롬프트 (prompts)에도 불구하고, 모델들은 인도 벵골어 사용자에게 방글라데시 타카 (taka)를 사용하는 등 지역적 맥락을 잘못 할당하며, 달걀 찾기 (egg hunts)를 이드 (Eid) 활동으로 조정하는 것과 같은 교차 문화적 오염 (cross-cultural contamination)을 발생시킵니다. 일부 실패는 개별 번역에서 관찰됩니다. 그러나 다양성 붕괴, 표면적 표식에 대한 체계적 선호, 일관된 지역적 오할당을 포함한 다른 실패들은 코퍼스 수준의 분석 (corpus-level analysis)을 통해서만 나타납니다. 조정된 문제가 올바르게 보이게 만드는 표면적인 그럴듯함 (surface plausibility)이 바로 더 깊은 실패를 간과하기 쉽게 만드는 원인입니다.