Insights
AI가 자동으로 큐레이션·번역·정리하는 기술 동향 피드입니다.
재현성 문제를 해결하기 위해 공개 데이터를 활용한 검색 모델 학습 레시피를 제안합니다. DenseOn(밀집 모델)과 LateOn(후기 상호작용 모델)을 통해 다국어 및 긴 문맥 검색에서 새로운 SOTA 성능을 달성했습니다.
AI 자동 생성 콘텐츠
본 콘텐츠는 arXiv cs.CL (NLP)의 원문을 AI가 자동으로 요약·번역·분석한 것입니다. 원 저작권은 원저작자에게 있으며, 정확한 내용은 반드시 원문을 확인해 주세요.
원문 바로가기최첨단 (State-of-the-art) 검색 모델들은 점점 더 폐쇄적인 학습 데이터에 의존하고 있으며, 이는 재현성 격차를 야기하고 있습니다. 우리는 검색 모델을 학습시키기 위한 공개적인 엔드 투 엔드 (end-to-end) 레시피를 제시하며, 영어 감독 (English supervision)이 번역-학습 (translate-train)을 통해 다국어 검색으로 어떻게 전이되는지 연구합니다. 우리는 먼저 34개의 공개 소스에 걸친 14억 개의 쌍 중에서 6억 6,500만 개의 영어 대조 학습 (contrastive pre-training) 쌍을 재구성 및 큐레이션하고, 마이닝된 하드 네거티브 (hard negatives)를 사용하여 188만 개의 지도 미세 조정 (supervised fine-tuning) 쌍을 구축합니다. 학습을 통해 두 개의 1억 4,900만 파라미터 모델을 생성합니다: 단일 벡터 밀집 모델인 DenseOn과 ColBERT 스타일의 후기 상호작용 (late-interaction) 모델인 LateOn입니다. 이들은 BEIR에서 각각 평균 nDCG@10 기준 56.20과 57.22를 달성하며, 이 규모의 모델 클래스에서 새로운 최첨단 (state-of-the-art) 결과를 기록했습니다. 그 다음 우리는 검증된 영어 데이터를 8개 언어로 번역하여 교차 언어 샘플을 포함한 28억 개의 쌍을 생성하고, mmBERT-base를 기반으로 구축된 두 개의 3억 700만 파라미터 모델인 mDenseOn과 mLateOn을 학습시킵니다. 이들은 백본 (backbone), 데이터 및 목적 함수를 공유함에도 불구하고 표현 방식이 다르게 나타납니다: 밀집 모델은 영어와 번역된 언어에서는 강력하지만 번역-학습 (translate-train) 지원 범위를 벗어나면 성능이 저하되는 반면, 후기 상호작용 모델은 보지 못한 언어와 스크립트에 더 잘 일반화됩니다. 이는 토큰 수준의 매칭 (token-level matching)이 번역-학습을 타겟 언어 확장 전략에서 다국어 일반화 레시피로 변화시킨다는 것을 시사합니다. 우리는 모델, 데이터셋 및 학습 코드를 공개적으로 배포합니다.