P3B3: LLM의 유럽 및 브라질 포르투갈어 변체 편향을 측정하기 위한 다회차 대화형 벤치마크

요약

LLM이 유럽 포르투갈어와 브라질 포르투갈어 사이에서 보이는 언어적 편향을 측정하기 위한 새로운 벤치마크 P3B3를 소개합니다. 실험 결과 대부분의 모델이 브라질 포르투갈어에 편향되어 있음을 확인하였으며, 언어 변체 간의 균형 잡힌 표현의 필요성을 강조합니다.

핵심 포인트

• 포르투갈어 변체(pt-PT vs pt-BR) 간의 LLM 편향 측정
• 전문가 큐레이션 기반의 대화형 프롬프트 벤치마크 P3B3 제안
• 대부분의 LLM이 브라질 포르투갈어(pt-BR)에 강한 편향을 보임
• 모델별 언어 변체 제어 가능성(controllability) 차이 확인