Insights
AI가 자동으로 큐레이션·번역·정리하는 기술 동향 피드입니다.
18개의 오픈 소스 LLM을 대상으로 신화적 지식의 문화적 인지 능력을 분석한 연구입니다. 모델의 잔차 스트림은 문화를 구분하지만, 디코더가 특정 지배적 문화의 토큰으로 정보를 붕괴시키는 현상을 발견했습니다.
AI 자동 생성 콘텐츠
본 콘텐츠는 arXiv cs.CL (NLP)의 원문을 AI가 자동으로 요약·번역·분석한 것입니다. 원 저작권은 원저작자에게 있으며, 정확한 내용은 반드시 원문을 확인해 주세요.
원문 바로가기오픈 소스 LLM(Large Language Models)은 Zeus, Jupiter, Thor와 같은 이름을 안정적으로 명명하지만, 핀란드, 슬라브, 이집트 또는 중국 신화와 같이 덜 대표적인 전통의 대응 인물들을 회복하는 일은 훨씬 덜 일관적입니다. 우리는 모델 내부 어디에서 이러한 문화적 기본값(cultural default)이 생성되는지 질문합니다. Thompson-motif 엔티티의 병렬적인 교차 문화적 기질(cross-cultural substrate) 위에서, 우리는 8개의 아키텍처(architecture) 제품군에 속하는 18개의 오픈 소스 LLM을 선형 프로빙(linear probing), 로짓 렌즈(logit lens), 활성화 패칭(activation patching) 및 출력 추출(output extraction)을 통해 조사합니다. 잔차 스트림(residual stream)은 이름 문자열 기준선(baseline)을 훨씬 상회하여 문화를 명확하게 구분하지만, 디코더(decoder)는 문화적으로 특정한 토큰들을 지배적인 전통의 토큰들로 붕괴(collapse)시킵니다. 이러한 실패는 표현(representation)의 문제가 아니라 판독(readout)의 문제입니다. 대상 문화의 모국어와 영어로 동일한 질문을 던졌을 때 발생하는 실패는 언어 내에서는 군집을 이루지만 언어 간에는 분리됩니다. 즉, 디코더는 프롬프트 언어(prompt language)에 의해 게이팅(gated)됩니다. 우리는 엔티티별 (프로브, 출력) 분해 프레임워크, 인용 기반의 교차 문화적 그라운드 트루스(ground truth), 언어 조건부 판독을 위한 모드 내(within-mode) 대 모드 간(cross-mode) 상관관계 테스트, 그리고 18개 모델 모두에 대한 엔티티별 예측을 공개합니다.