BenCSSmark: 사회과학 연구에서 LLM 평가의 중요성

요약

본 논문은 현재의 LLM 벤치마크가 사회과학 과제를 충분히 포함하지 못하여 평가와 연구 발전에 한계를 초래한다고 지적합니다. 벤치마크는 AI 개발에 필수적인 요소이지만, 사회과학 분야의 복잡하고 문맥에 민감한 데이터셋이 부족합니다. 이에 저자들은 계산 사회과학자들이 주석한 데이터셋으로 구성된 새로운 벤치마크인 'BenCSSmark'를 제안하며, 이를 통해 LLM의 일반화 능력과 사회적 관련성을 높이고 AI 시스템의 투명한 발전을 촉진하고자 합니다.

핵심 포인트

• 현대 LLM 벤치마크는 계산 시스템 평가에 필수적이지만, 사회과학 과제 부재로 인해 한계가 있다.
• 사회과학 분야는 학자들이 문맥에 민감하고 주석된 데이터셋을 지속적으로 생성하고 있어, 이를 벤치마크에 통합할 필요성이 크다.
• BenCSSmark는 계산 사회과학자들이 주석한 데이터셋으로 구성되어, 사회과학적 관점을 LLM 평가에 도입하는 것을 목표로 한다.
• 사회과학 과제를 학습한 모델은 역사, 사회학 등 다양한 인문사회 분야의 고전적/현대적 문제에서 더 높은 성능을 보일 것으로 기대된다.