LLM 기반 추천 시스템의 언어적 편향에 대한 조사

요약

본 연구는 Yelp 및 Walmart 데이터셋을 활용하여 LLM 기반의 레스토랑 및 제품 추천 시스템에서 나타나는 언어적 편향을 조사했습니다. 남부 미국 영어(AE), 인도 영어(IE), 그리고 코드 스위칭 힌디어-영어 방언 프롬프트를 사용하여 모델들이 각 방언에 따라 다르게 반응하는지 분석했습니다. 그 결과, 테스트된 모든 모델에서 사용된 방언이 추천되는 레스토랑 유형에 영향을 미치며, 특히 mistral-small-3.1과 llama-3.1 계열 모델은 인도 영어 및 코드 스위칭 프롬프트에 더 민감하게 반응하는 경향을 보였습니다.

핵심 포인트

• LLM 기반 추천 시스템의 성능이 입력된 언어 방언(AE, IE, Code-Switching)에 따라 달라지는 '언어적 편향'이 존재함을 확인했습니다.
• Mistral-small-3.1 및 Llama-3.1 계열 모델은 인도 영어와 코드 스위칭 프롬프트의 영향을 더 크게 받는 것으로 나타났습니다.
• 제품 추천 측면에서, 대형 모델(Llama-3.1-70B)은 뷰티 및 홈 카테고리 등 특정 분야에서 코드 스위칭 프롬프트에 민감하게 반응하는 경향을 보였습니다.
• 추천의 편향성은 단순히 모델 크기보다는 입력된 방언 유형에 조건부적으로 의존합니다.