BenCSSmark: 사회과학 연구에서 LLM 평가의 중요성

본 위치 논술 (position paper) 은 현대적인 LLM 벤치마크에 있어 사회과학 과제의 부재가 LLM 평가와 사회과학 탐구의 발전을 제한하고 있음을 주장한다. 벤치마크 -- 계산 시스템을 평가하는 표준화된 도구 -- 는 인공지능 (AI), 특히 대규모 언어 모델 (LLM) 개발에서 핵심적이다. 벤치마크는 단순한 진행 측정을 넘어, 그 자체로 구조를 형성하며 명성, 연구 계획, 그리고 상업적 결과를 kształt 한다. 그럼에도 불구하고 이러한 중심적인 역할을 수행함에도 불구하고 사회과학은 주류 평가 프레임워크에서 거의 부재하다. 이 분야의 학자들은 매년 수십 개의 엄밀하게 주석된, 문맥에 민감한 데이터셋을 생성한다. 이 작업을 벤치마크 설계에 통합하면 AI 모델의 일반화 및 견고성을 크게 향상시킬 수 있다. 반대로 사회과학적 과제를 훈련받은 모델은 역사, 사회학, 정치학 또는 경제학과 같은 다양한 학문의 고전적이고 현대적인 과제에서 더 나은 성능을 발휘할 가능성이 높다. 이러한 분야는 LLM 에 대한 도움을 위해 빠르게 전환하고 있으므로 더욱 시급하다. 이 격차를 해결하기 위해 우리는 BenCSSmark 를 소개한다. 이는 계산 사회과학자들이 주석한 데이터셋으로 구성된 벤치마크이다. BenCSSmark 는 사회과학적 관점을 벤치마킹에 통합함으로써 보다 견고하고 투명하며 사회적 관련성이 있는 AI 시스템을 촉진하고 효율적인 협력을 장려하고자 한다.