Insights
AI가 자동으로 큐레이션·번역·정리하는 기술 동향 피드입니다.
Sparse Autoencoders(SAE)를 활용하여 추가 학습 없이 추론 시점에 특정 언어의 특징을 강화하는 다국어 스티어링 방법을 제안합니다. Gemma-3-12B-it 모델 실험을 통해 XCOPA, XNLI 등 주요 벤치마크에서 성능 향상을 입증했습니다.
AI 자동 생성 콘텐츠
본 콘텐츠는 arXiv cs.CL (NLP)의 원문을 AI가 자동으로 요약·번역·분석한 것입니다. 원 저작권은 원저작자에게 있으며, 정확한 내용은 반드시 원문을 확인해 주세요.
원문 바로가기다국어 거대 언어 모델 (Multilingual large language models)은 언어 간에 상당한 성능 차이를 보이지만, 기존의 적응 방법들은 종종 파라미터 업데이트와 상당한 양의 다국어 학습 데이터를 필요로 합니다. 우리는 사전 학습된 희소 오토인코더 (Sparse Autoencoders, SAE)를 사용하여 대상 언어와 관련된 특징을 식별하고 강화하는 추론 시점의 다국어 스티어링 (Multilingual steering) 방법을 제안합니다. 다국어 병렬 문장을 사용하여, 우리는 언어 간 SAE 활성화 (activations)를 비교하고 각 대상 언어와 관련된 소수의 레이어별 특징 (layer-specific features)을 선택합니다. 이러한 특징들은 스티어링 신호 (steering signals)로 디코딩되어 추가 학습 없이 모델의 은닉 상태 (hidden states)에 주입됩니다. Gemma-3-12B-it를 이용한 실험 결과, XCOPA에서 평균 10.9 퍼센트 포인트, XNLI에서 5.3 포인트, MGSM에서 1.9 포인트의 정확도 향상을 보여주었습니다.