MSQA: 네이티브 소싱 기반의 다국어 및 다문화 SimpleQA 벤치마크

요약

다국어 유창성이 문화적 이해로 직결되지 않는다는 '문화적 정렬의 환상'을 지적하며, 네이티브 소싱 기반의 새로운 벤치마크 MSQA를 제안합니다. 18개 LLM 평가 결과, 문화적 역량은 추론 능력보다 사전 학습 데이터의 노출 정도에 더 큰 영향을 받는 것으로 나타났습니다.

핵심 포인트

• 네이티브 소싱 기반의 다국어/다문화 벤치마크 MSQA 공개
• 언어 능력과 문화적 이해 사이의 불일치(문화적 정렬의 환상) 확인
• 문화적 역량은 일반 추론보다 사전 학습 노출도에 더 의존함
• 기존의 추론 시점 해결책(RAG, 샘플링 등)의 한계 지적