Insights
AI가 자동으로 큐레이션·번역·정리하는 기술 동향 피드입니다.
LLM의 고자원 언어 편향으로 인한 교차 언어적 사실 불일치 문제를 해결하기 위한 추론 시간 스티어링 전략을 연구합니다. 페르소나 프롬프팅, CAA, DPO 등 네 가지 개입 전략을 Gemma 3 12B Instruct 모델로 실험하여 그 효능을 비교 분석했습니다.
AI 자동 생성 콘텐츠
본 콘텐츠는 arXiv cs.CL (NLP)의 원문을 AI가 자동으로 요약·번역·분석한 것입니다. 원 저작권은 원저작자에게 있으며, 정확한 내용은 반드시 원문을 확인해 주세요.
원문 바로가기대규모 언어 모델 (LLMs)은 놀라운 다국어 유창성을 보여주지만, 모델 내부의 지식 표현 (knowledge representations)은 여전히 고자원 언어 (high-resource languages)에 불균형적으로 편향되어 있습니다. 이는 모델이 단순히 프롬프트 언어에 따라 경험적 답변 분포를 변화시키는 교차 언어적 사실 불일치 (cross-lingual factual inconsistency) 현상으로 이어집니다. 본 연구에서는 이러한 편향을 추론 시간 (inference time)에 완화할 수 있는지 조사하며, 영어로 프롬프트가 제공된 모델이 대상 언어 (독일어, 스페인어, 불가리아어)로 질문을 받았을 때와 동일하게 답변하도록 강제합니다. 이를 위해 네 가지 개입 전략을 평가합니다: 제로샷 문맥 스티어링 (zero-shot contextual steering, 페르소나 프롬프팅), 대조적 활성화 추가 (Contrastive Activation Addition, CAA)를 통한 내부 표현 조작, 그리고 벤치마크 유도 사실 데이터 및 개념 일반화 데이터를 통해 학습된 직접 선호 최적화 (Direct Preference Optimization, DPO)를 통한 경량 가중치 수정입니다. 정렬 (alignment)을 평가하기 위해, 우리는 다국어 사실 데이터셋과 함께 문화적 뿌리가 있는 질의로 구성된 새로운 일반화 벤치마크를 큐레이션하여, 사실적 개입이 더 넓은 대상 중심 선호도로 전이되는지 확인합니다. Gemma 3 12B Instruct를 대상으로 한 실험 결과, 페르소나 프롬프팅이 효능, 안전성, 그리고 도메인 외 일반화 (out-of-domain generalization) 사이의 균형을 맞추는 가장 강력한 전반적 개입 방법임을 보여줍니다. CAA는 불일치 벤치마크에서 급격한 변화를 이끌어내지만, 설정에 민감하며 지식 저하 (knowledge degradation)의 위험이 있습니다. DPO 기반 어댑터는 영구적이지만, 이득의 범위가 더 좁고 전이성이 낮습니다. 이러한 결과는 교차 언어적 불일치가 적어도 부분적으로는 선택 문제 (selection problem)임을 시사하며, 단순한 문맥적 개입이 견고하고 전이 가능한 정렬을 위해 더 침습적인 방법보다 더 나은 성능을 보일 수 있음을 나타냅니다.