LLM의 문화적 편향성 분석: 왜 일본 문화에 집착하는가?

최근 대규모 언어 모델(LLMs)은 뛰어난 성능을 보여주고 있지만, 문화적 커버리지와 역량 측면에서 여러 한계를 드러내고 있습니다. 특히 서구 중심적이거나 특정 지역의 시각을 과대 대표하는 '지역 편향성 (regional biases)' 문제가 심각하게 제기되고 있습니다.

본 연구는 기존의 LLM 분석들이 주로 문화적 능력 자체에 초점을 맞추었거나, 단순히 서구/앵글로센트릭(Anglocentric) 관점의 편향성을 지적하는 데 그쳤다는 한계를 극복하고자 했습니다. 이에 따라, 저희는 '문화 관련 개방형 질문 (Culture-Related Open Questions, CROQ)'이라는 포괄적인 분류 체계에 기반한 새로운 데이터셋을 제안합니다.

이 데이터를 활용하여 LLMs의 지역 선호도를 분석한 결과, 흥미롭고도 우려스러운 패턴이 발견되었습니다. 이전의 문화 편향성 연구들과 달리, LLMs는 특정 국가들(예: 일본)에 대한 명확하고 일관된 경향성을 보이는 것으로 나타났습니다.

더 나아가, 입력 언어의 특성에 따른 차별적인 반응도 관찰되었습니다. 영어와 같이 자원이 풍부한 고자원어(high-resource languages)로 프롬프팅할 때 LLMs는 더 다양하고 폭넓은 출력을 제공하는 경향을 보였습니다. 반면, 해당 언어가 공식 언어인 국가의 문화적 질문에 답변하라는 요청에는 상대적으로 소극적이거나 덜 다양한 반응을 보이는 경향이 확인되었습니다.

마지막으로, 이러한 문화적 편향성이 LLM 학습 과정 중 언제 발생하는지를 추적했습니다. 분석 결과, 이 명확한 문화적 편향성의 초기 징후는 모델의 사전 학습(pre-training) 단계가 아닌, 지도 미세 조정(supervised fine-tuning) 이후에 나타나기 시작하는 것으로 밝혀졌습니다. 이는 LLM 개발 및 평가 과정에서 중요한 시사점을 제공합니다.

결론적으로, LLMs를 실제 서비스에 적용하기 위해서는 단순히 성능 지표만 측정할 것이 아니라, 문화적 맥락과 지역적 균형을 고려한 다각적인 검증이 필수적입니다.