LLM의 문화적 인식 탐색: 교차 문화 미적 양식성에 관한 사례 연구

대규모 언어 모델 (LLMs)은 점점 더 다양한 문화적 맥락에서 배포되고 있지만, 미적 양식성 (aesthetic stylistics), 즉 문화적 공명을 불러일으키기 위한 언어의 전략적 사용을 숙달하는 능력은 여전히 충분히 탐구되지 않았습니다. 우리는 행동 인식 (behavioral recognition) 및 생산적 역량 (productive competence)의 관점에서 LLM을 평가하기 위해, 홍콩과 중국 본토의 고도로 양식화된 번역 영화 제목 및 광고 슬로건 벤치마크인 C4STYLI를 큐레이션했습니다. 광범위한 평가 결과, LLM은 양식적 인식 (stylistic recognition) 측면에서 인간과 차이를 보이며, 이러한 인식 능력은 텍스트 도메인에 따라 다르게 나타남을 보여줍니다. 또한, LLM의 양식적 인식 및 생성 성능은 일관되게 정렬되어 있지 않습니다. LLM이 양식적 인식 과정에서 실제로 양식적 정보를 포착하는지 추가로 조사하기 위해, 우리는 로지스틱 회귀 프로브 (logistic regression probes)를 사용하여 구조적 절제 (structural ablation)를 수행했습니다. 연구 결과, 홍콩 설정에서 LLM의 양식적 인식은 양식적 구조 (stylistic structure)보다는 주로 표면 수준의 언어 정보 (surface-level linguistic information)에 의존한다는 것을 발견했습니다. 이는 홍콩 특유의 양식적 구조에 대한 민감도가 제한적임을 시사합니다.