매개변수 지식(Parametric Knowledge)을 위한 교차 언어 탐색

대규모 언어 모델(Large Language Models)의 매개변수 지식(Parametric knowledge)은 언어 전반에 걸쳐 균등하게 접근 가능하지 않습니다. 그 결과, 표준 추론 기술은 종종 현지화된 사실을 표면화하는 데 어려움을 겪으며, 이는 교차 언어 지식 전이(cross-lingual knowledge transfer) 및 일관성(consistency)의 실패로 이어집니다. 본 연구에서는 교차 언어 프롬프팅(cross-lingual prompting) 전략을 탐색함으로써 숨겨진 사실적 지식에 접근하는 기술을 조사합니다. 우리는 매개변수 지식 검색(parametric knowledge retrieval)을 직접적으로 제어하는 교차 언어 탐색의 네 가지 고유한 차원을 식별하고, 유형학적으로 다양한 17개 언어를 다루는 다국어 사실 벤치마크(multilingual factual benchmarks)에서 이를 평가합니다. 우리의 결과는 교차 언어 탐색이 지식 전이와 사실적 회상(factual recall)을 크게 향상시키며, 모국어 스케일링(native-language scaling)보다 더 효율적인 연산 파레토 프런티어(compute Pareto frontier)를 나타낸다는 것을 입증합니다. 또한, 우리는 정확도 향상만으로는 설명할 수 없는 수준의 교차 언어 일관성(cross-lingual consistency) 향상을 관찰했습니다. 종합적으로, 본 연구는 다국어 프롬프트 탐색이 잠재된 매개변수 지식을 해제하기 위한 매우 효과적인 추론 시간(inference-time) 전략임을 확립합니다.