언어 모델 내의 문화적 결합 헤드 (Cultural Binding Heads)

LLM(대규모 언어 모델)은 문맥상 차별화가 필요한 상황임에도 불구하고, 문화적 집단 간에 종종 동일한 처리를 기본값으로 설정하곤 합니다. 이는 차이 인식(difference awareness)의 부족을 의미합니다. 본 연구에서는 기계론적 해석 가능성(mechanistic interpretability)과 Wang et al. (2025)의 N4 문화적 전유(cultural appropriation) 벤치마크에 대한 요인 설계(factorial design)를 사용하여, 8개의 모델(4개의 아키텍처, base 및 instruct 모델) 전반에 걸쳐 문화적 결합(cultural binding)에 인과적으로 기여하는 모델당 23개의 중간층 어텐션 헤드(attention heads)를 식별했습니다. 문화적 결합이란 문화적 항목을 적절한 정체성(identity)과 연관시키는 과정입니다. 이 헤드들에서 정체성-항목(identity-to-item) 엣지를 제거(knockout)하면 결합 강도가 923% 감소합니다. 식별된 헤드들은 instruct 모델에서 base 모델로 전이되며, 이는 문화적 결합이 사전 학습(pre-training) 단계에서 생성됨을 시사합니다. $\alpha$-스케일링(scaling)을 통해 단계적인 용량-반응(dose-response) 관계를 확인하였으며, 생성 시 중간 정도의 증폭 스티어링(amplification steering, $\alpha= 2-3$)을 적용하면 중립적인 추론은 대부분 유지하면서 문화적 차별화 정확도를 13 pp(퍼센트 포인트) 증가시킵니다. 지식 프로빙(knowledge probing) 과업 결과, 모델은 실제 행동으로 옮기는 것보다 35배 더 많은 지식을 알고 있는 것으로 나타났으며, 이는 병목 현상이 지식이 아닌 라우팅(routing)에 있음을 나타냅니다.