StereoTales: LLM의 개방형 스테레오타입 발견을 위한 다국어 프레임워크
요약
StereoTales는 개방형 대규모 언어 모델(LLM) 생성 과정에서 발생하는 사회적 편향을 다국어로 체계적으로 연구하기 위해 개발된 프레임워크입니다. 이 프레임워크는 10개 언어와 79가지 사회-인구통학적 속성을 포괄하며, 23개의 최신 LLM이 생성한 65만 개 이상의 이야기를 포함하고 있습니다. 이를 통해 연구자들은 통계적 분석을 수행하여 과도하게 표현된 편향된 연관 관계를 식별하고 평가할 수 있는 도구를 얻게 됩니다.
핵심 포인트
- LLM의 사회적 편향 연구는 기존에 영어 중심이거나 제한적인 벤치마크가 많았음.
- StereoTales는 10개 언어와 79가지 속성을 다루는 포괄적인 다국어 데이터셋 및 평가 파이프라인을 제공함.
- 65만 개 이상의 이야기 데이터를 통해 23개의 최신 LLM의 편향된 출현 패턴을 분석할 수 있음.
- 연구 결과로 1,500개 이상의 과도하게 표현된 사회적 연관 관계를 식별했으며 관련 코드를 공개함.
개방형 LLM 생성에서 사회적 편향에 대한 다국어 연구는 여전히 제한적입니다. 기존 벤치마크 대부분은 영어 중심이거나, 템플릿 기반이거나, 사전에 지정된 스테레오타입 인식에 국한되어 있습니다. 우리는 개방형 LLM 생성에서 사회적 편향의 출현을 체계적으로 연구하기 위한 다국어 데이터셋이자 평가 파이프라인인 StereoTales를 소개합니다. 이 데이터셋은 10개 언어와 79가지 사회-인구통학적 속성을 다루며, 23개의 최신 LLM이 생성한 65만 개 이상의 이야기를 포함하고 있으며, 각 이야기는 주인공의 사회-인구통학적 프로필을 19개 차원에 걸쳐 주석 처리했습니다. 이를 통해 우리는 통계적 테스트를 적용하여 1,500개가 넘는 과도하게 표현된 연관 관계를 식별했으며, 이후 이들을 평가하기 위해 패널(pane) 양쪽에서...
추가 분석을 지원하기 위해 모델 생성물, 속성 주석 및 유해성 평가를 포함하는 평가 코드와 데이터셋을 공개합니다.
AI 자동 생성 콘텐츠
본 콘텐츠는 arXiv cs.CL의 원문을 AI가 자동으로 요약·번역·분석한 것입니다. 원 저작권은 원저작자에게 있으며, 정확한 내용은 반드시 원문을 확인해 주세요.
원문 바로가기