StereoTales: LLM의 개방형 스테레오타입 발견을 위한 다국어 프레임워크

요약

StereoTales는 개방형 대규모 언어 모델(LLM) 생성 과정에서 발생하는 사회적 편향을 다국어로 체계적으로 연구하기 위해 개발된 프레임워크입니다. 이 프레임워크는 10개 언어와 79가지 사회-인구통학적 속성을 포괄하며, 23개의 최신 LLM이 생성한 65만 개 이상의 이야기를 포함하고 있습니다. 이를 통해 연구자들은 통계적 분석을 수행하여 과도하게 표현된 편향된 연관 관계를 식별하고 평가할 수 있는 도구를 얻게 됩니다.

핵심 포인트

• LLM의 사회적 편향 연구는 기존에 영어 중심이거나 제한적인 벤치마크가 많았음.
• StereoTales는 10개 언어와 79가지 속성을 다루는 포괄적인 다국어 데이터셋 및 평가 파이프라인을 제공함.
• 65만 개 이상의 이야기 데이터를 통해 23개의 최신 LLM의 편향된 출현 패턴을 분석할 수 있음.
• 연구 결과로 1,500개 이상의 과도하게 표현된 사회적 연관 관계를 식별했으며 관련 코드를 공개함.