Insights
AI가 자동으로 큐레이션·번역·정리하는 기술 동향 피드입니다.
NRITYAM은 언어 모델의 문화적 이해 역량을 평가하기 위해 개발된 무용 예술 및 유산 중심의 벤치마크입니다. 12개 언어와 9,260개의 질문-답변 쌍을 통해 LLM부터 SMLM까지 다양한 모델의 다문화적 추론 능력을 검증합니다.
AI 자동 생성 콘텐츠
본 콘텐츠는 arXiv cs.CL (NLP)의 원문을 AI가 자동으로 요약·번역·분석한 것입니다. 원 저작권은 원저작자에게 있으며, 정확한 내용은 반드시 원문을 확인해 주세요.
원문 바로가기언어 모델은 현대 워크플로우를 형성하는 데 필수적인 도구가 되었습니다. 하지만, 이들의 글로벌 효과성은 지역 사회 문화적 맥락에 대한 미묘한 이해에 달려 있습니다. 이러한 격차를 해소하기 위해, 우리는 전 세계 무용 전통의 맥락에서 언어 모델의 문화적 이해 역량을 평가하기 위한 포괄적인 벤치마크인 NRITYAM을 제시합니다. NRITYAM은 12개 언어에 걸쳐 신중하게 선별된 9,260개의 질문-답변 쌍으로 구성되어 있으며, 무용 분야의 문화 지식을 평가하는 가장 큰 데이터셋입니다. 이 데이터셋은 해당 지역의 문화적으로 관련된 질문을 작성하고 검증한 원주민 무용 예술가 및 언어 사용자들과의 긴밀한 협력을 통해 처음부터 개발되었습니다. 우리는 대규모 언어 모델(LLM), 소규모 언어 모델(SLM), 멀티모달 대규모 언어 모델(MLLM), 그리고 소규모 멀티모달 언어 모델(SMLM)을 포함하는 광범위한 모델들을 평가합니다. 다국어 및 다문화 벤치마크로서, NRITYAM은 AI 시스템이 전통 공연 예술에 대해 이해하고 추론하는 능력을 평가하는 새로운 기준을 제시합니다. 상세 데이터셋 샘플은 ↘ ext{https://github.com/niladrighosh03/NRITYAM}에서 확인할 수 있습니다.