Yalda-Embedding: 경쟁적인 페르시아어 검색 모델의 개방형 개발

원문 발행 2026. 10. 24. 02:30원문 언어 영어AI 한국어 번역arXiv cs.CL 원문 보기

요약

본 논문은 페르시아어 밀집 검색의 한계를 극복하기 위해 Yalda Embedding을 개발했습니다. 이 모델은 Qwen3-Embedding-0.6B를 기반으로 훈련되었으며, FaMTEB의 8가지 작업에서 최고 성능을 달성했습니다. 연구진은 모든 구성 요소를 공개하여 학계의 재현성을 높였습니다.

핵심 포인트

Yalda Embedding: 페르시아어 검색에 최적화된 고성능 임베딩 모델 제시.
FaMTEB 8개 작업에서 경쟁 모델 대비 최고 매크로 평균 점수 달성.
지식 증류(Knowledge Distillation)를 통해 성능을 크게 향상시킴.
모델 가중치, 코드, 데이터셋을 모두 공개하여 재현성을 확보함.

다국어 텍스트 표현(multilingual text representations) 분야에서 발전이 이루어졌음에도 불구하고, 페르시아어에 대한 효과적인 밀집 검색(dense retrieval)은 언어별 특정 학습 자원과 간결한 임베딩 모델(compact embedding models)의 제한된 가용성으로 인해 여전히 제약받고 있습니다. 본 논문에서는 1백만 개 이상의 질의-문서 쌍(query-document pairs)을 사용하여 Qwen3-Embedding-0.6B에서 적응시킨, 595.8백만 개의 파라미터를 가진 페르시아어 검색 모델인 Yalda Embedding을 제시합니다. FaMTEB의 8가지 페르시아어 검색 작업에 대해 이 모델은 평가된 0.6B 모델 중 가장 높은 매크로 평균(macro-average) 점수인 0.5488을 달성하며, 모든 작업에서 Qwen3-Embedding-0.6B와 F2LLM-v2-0.6B를 능가합니다. 또한 이 모델은 Qwen3-Embedding-4B에 근접하여 네 가지 작업에서는 승리하고, 한 가지 작업에서는 동률을 기록했으며, 매크로 평균 점수에서 0.0075만큼 뒤처집니다. 증분 제거 연구(incremental ablation study)를 통해 대조적 배치 크기(contrastive batch size), 최적화 안정화(optimization stabilization), 그리고 F2LLM-v2-8B로부터의 관계 지식 증류(relational knowledge distillation)가 검토되었습니다. 1 에포크 학습 설정 하에서, 대조적 미세 조정만으로는 초기화 대비 적당한 평균 개선을 보였으며 두 가지 작업에서는 회귀 현상이 나타났습니다. 최종적으로 증류된 구성은 비증류 모델 대비 모든 8가지 작업을 향상시켜, 추론 시간 모델 크기를 늘리지 않으면서 평균 점수를 0.4813에서 0.5488로 끌어올렸습니다. 이러한 성능 향상은 명시적으로 채굴되거나 제공되지 않은 하드 네거티브(hard-negative)임에도 불구하고 하드 네거티브 평가 작업을 포함합니다. 우리는 모델 가중치, 학습 및 평가 코드, 쌍별 데이터셋(pairwise dataset), 그리고 그 교사 임베딩 버전(teacher-embedded counterpart)을 공개하여, 데이터 구성과 훈련 절차의 검사를 가능하게 하고, 값비싼 교사 추론을 반복할 필요 없이 독립적인 평가와 재사용이 가능하도록 했습니다.

AI 자동 생성 콘텐츠

원문 바로가기

Yalda-Embedding: 경쟁적인 페르시아어 검색 모델의 개방형 개발

요약

핵심 포인트

댓글