RupeeBias: 대규모 언어 모델(LLM)의 인도 경제 가이드에서 인구통계학적 편향 감사

개인들은 대출 옵션 비교 및 저축 계획부터 요구할 급여 인상액이나 서비스 가격 책정까지 광범위한 경제 업무에 대한 지침을 얻기 위해 대규모 언어 모델(LLMs)에 의존합니다. LLM은 사회적 편향을 재현하는 것으로 알려져 있으며, 편향된 경제 가이드는 사용자가 자신의 가치에 대해 믿는 것, 요구하는 것, 그리고 궁극적으로 수용하는 것에 영향을 미칠 수 있습니다. 이러한 위험은 특히 인도의 경우 두드러지게 나타나는데, 인도에서는 카스트(caste)와 도시-농촌 위치 같은 인구통계학적 범주가 경제적 결과에 영향을 미치기 때문입니다. 하지만 기존의 LLM 편향 벤치마크는 대부분 서구의 인구통계학적 범주를 중심으로 설계되었기 때문에 인도 맥락에서의 경제 격차의 핵심 축들을 놓치고 있습니다. 우리는 인도 경제 환경 전반에 걸친 LLM 생성 경제 가이드에서 인구통계학적 편향을 감사하기 위한 벤치마크인 RupeeBias를 소개합니다. RupeeBias는 급여 추정, 급여 인상 추정, 역제안 추천, 서비스 가격 책정의 네 가지 사용 사례에 걸쳐 39,150개의 프롬프트를 포함합니다. 이 벤치마크는 단일 속성 반사실적 설계(single-attribute counterfactual design)를 따르며, 사용자 자격, 경험 또는 서비스 제공 설명은 고정한 채 한 번에 하나의 인구통계 식별자만 변경합니다. RupeeBias는 카스트, 종교, 지역 정체성, 성별, 장애, 도시-농촌 위치의 여섯 가지 축을 통해 87개의 인도 특정 인구통계 식별자를 다루며, 모든 프롬프트는 영어와 Hinglish로 작성되었습니다. 우리는 RupeeBias를 사용하여 아홉 개의 LLM을 평가했으며, 여섯 가지 축 모두에서 체계적인 인구통계학적 격차를 발견했습니다. 인구통계 식별자만 다르고 그 외의 모든 면이 동일한 프롬프트에 대해, LLM이 생성한 경제 출력은 평균적으로 20.2% 차이가 납니다. 우리는 인도 특정 인구통계 및 경제 환경 전반에 걸친 LLM 생성 경제 가이드의 인구통계학적 편향에 대한 향후 연구를 지원하기 위해 RupeeBias를 공개적으로 배포합니다.