Insights
AI가 자동으로 큐레이션·번역·정리하는 기술 동향 피드입니다.
LLM의 매개변수 지식이 언어별로 불균형하게 접근되는 문제를 해결하기 위해 교차 언어 탐색 전략을 제안합니다. 17개 언어 벤치마크를 통해 교차 언어 프롬프팅이 지식 전이와 사실적 회상 능력을 크게 향상시킴을 입증했습니다.
AI 자동 생성 콘텐츠
본 콘텐츠는 arXiv cs.CL (NLP)의 원문을 AI가 자동으로 요약·번역·분석한 것입니다. 원 저작권은 원저작자에게 있으며, 정확한 내용은 반드시 원문을 확인해 주세요.
원문 바로가기대규모 언어 모델(Large Language Models)의 매개변수 지식(Parametric knowledge)은 언어 전반에 걸쳐 균등하게 접근 가능하지 않습니다. 그 결과, 표준 추론 기술은 종종 현지화된 사실을 표면화하는 데 어려움을 겪으며, 이는 교차 언어 지식 전이(cross-lingual knowledge transfer) 및 일관성(consistency)의 실패로 이어집니다. 본 연구에서는 교차 언어 프롬프팅(cross-lingual prompting) 전략을 탐색함으로써 숨겨진 사실적 지식에 접근하는 기술을 조사합니다. 우리는 매개변수 지식 검색(parametric knowledge retrieval)을 직접적으로 제어하는 교차 언어 탐색의 네 가지 고유한 차원을 식별하고, 유형학적으로 다양한 17개 언어를 다루는 다국어 사실 벤치마크(multilingual factual benchmarks)에서 이를 평가합니다. 우리의 결과는 교차 언어 탐색이 지식 전이와 사실적 회상(factual recall)을 크게 향상시키며, 모국어 스케일링(native-language scaling)보다 더 효율적인 연산 파레토 프런티어(compute Pareto frontier)를 나타낸다는 것을 입증합니다. 또한, 우리는 정확도 향상만으로는 설명할 수 없는 수준의 교차 언어 일관성(cross-lingual consistency) 향상을 관찰했습니다. 종합적으로, 본 연구는 다국어 프롬프트 탐색이 잠재된 매개변수 지식을 해제하기 위한 매우 효과적인 추론 시간(inference-time) 전략임을 확립합니다.