Insights
AI가 자동으로 큐레이션·번역·정리하는 기술 동향 피드입니다.
UEmbed는 단일 디코더 전용 아키텍처를 통해 희소(Sparse) 및 밀집(Dense) 멀티모달 임베딩을 동시에 생성하는 새로운 모델입니다. 기존 LSR의 한계를 극복하여 텍스트와 멀티모달 입력을 통합하며, 다양한 규모(2B, 4B, 9B)로 출시되었습니다.
AI 자동 생성 콘텐츠
본 콘텐츠는 arXiv cs.CL (NLP)의 원문을 AI가 자동으로 요약·번역·분석한 것입니다. 원 저작권은 원저작자에게 있으며, 정확한 내용은 반드시 원문을 확인해 주세요.
원문 바로가기희소 검색 (Sparse retrieval)은 웹 검색에서 검색 증강 생성 (Retrieval-Augmented Generation, RAG)에 이르기까지 현대 검색 시스템의 근간을 이룹니다. 기존 연구들은 정확한 어휘 매칭을 넘어 더 풍부한 의미론적 이해로 나아가기 위해 학습된 희소 검색 (Learned Sparse Retrieval, LSR)을 도입해 왔습니다. 그러나 LSR은 지금까지 인코더 스타일의 양방향 아키텍처 (bidirectional architectures)에 묶여 있었으며, 멀티모달 설정으로의 확장 또한 여전히 보조적인 교차 모달 모듈 (auxiliary cross-modal modules)에 크게 의존하고 있습니다. 이러한 한계를 해결하기 위해, 우리는 하나의 인과적 순방향 패스 (causal forward pass)를 통해 희소 어휘 표현 (sparse lexical representations)과 밀집 표현 (dense representations)을 모두 생성하는 디코더 전용 (decoder-only) 멀티모달 임베딩 모델인 UEmbed (Unified Embedding)를 소개합니다. UEmbed는 입력에 N개의 학습 가능한 특수 토큰 (special tokens)을 추가하고 어휘 사전 (vocabulary)을 N개의 서로소 부분 집합 (disjoint subsets)으로 분할합니다. 각 토큰의 인과적 은닉 상태 (causal hidden state)는 할당된 부분 집합에 대한 희소 가중치 (sparse weights)를 예측하며, N개의 부분 집합은 전체 희소 벡터로 결합됩니다. 공개 데이터로 학습된 UEmbed를 2B, 4B, 9B 규모로 출시합니다. UEmbed-9B는 MMEB-v2에서 71.8 (밀집) 및 71.0 (희소)을 달성하여, 공개적으로 사용 가능한 데이터로 학습된 멀티모달 임베딩 모델 (예: RzenEmbed)보다 뛰어난 성능을 보였습니다. BEIR에서도 UEmbed는 강력한 밀집 및 희소 베이스라인 (baselines)과 경쟁할 만한 수준을 유지합니다. 나아가, 우리는 효과성 (effectiveness), 효율성 (efficiency), 그리고 에이전트 애플리케이션 (agentic applications)이라는 세 가지 차원에서 UEmbed의 실질적인 유용성을 입증합니다. 종합적으로, UEmbed는 하나의 모델에서 밀집 및 희소 임베딩을 통합하는 동시에, 희소 검색을 확장하여 텍스트와 멀티모달 입력을 통합하는 새로운 패러다임을 제시합니다.