m3BERT: 현대적인 다국어 Matryoshka 양방향 인코더

요약

m3BERT는 다양한 임베딩 차원과 Transformer 레이어에서 표현력을 공동 최적화하는 Matryoshka 사전 학습 전략을 도입한 새로운 다국어 양방향 인코더입니다. 단일 모델로 자원 제약과 정확도 목표에 따라 유연하게 대응할 수 있으며, 3단계 사전 학습 과정을 통해 상업적 검색 성능을 극대화했습니다. Bing-Click 데이터셋 등에서 기존 SOTA 모델을 능가하는 성능을 입증하며 산업용 검색 시스템의 효율적인 기반을 제시합니다.

핵심 포인트

• Matryoshka 사전 학습 전략을 통해 단일 모델로 다양한 임베딩 차원 지원 가능
• 단일 언어 사전 학습, 다국어 적응, 웹 도메인 지속적 사전 학습의 3단계 프로세스 적용
• 기존 모델의 고정된 아키텍처 및 차원 제약 문제를 해결하여 배포 유연성 확보
• Bing-Click 데이터셋에서 최첨단(SOTA) 임베딩 모델 대비 우수한 성능 기록