BitNet 텍스트 임베딩 (BitNet Text Embeddings)

LLM 기반 텍스트 임베더(text embedders)는 검색 및 의미론적 표현(semantic representation) 품질을 실질적으로 향상시켰으나, 그 배포 비용은 여전히 높습니다. 거대한 백본(backbone) 모델은 임베딩 추론(embedding inference) 속도를 늦추며, 고차원의 전정밀도(full-precision) 임베딩은 대규모 인덱스에 상당한 저장 공간 및 대역폭 오버헤드를 발생시킵니다. 본 논문에서는 인코딩 효율성과 벡터 저장(vector storage)을 동시에 목표로 하는 LLM 기반 텍스트 임베딩을 위한 극저비트(extreme low-bit) 프레임워크인 BITEMBED를 제안합니다. BITEMBED는 사전 학습된 LLM 백본을 삼진 가중치(ternary weights), 양자화된 활성화 함수(quantized activations), 그리고 경량화된 정규화 개선(normalization refinement)을 갖춘 BitNet 스타일의 임베딩 인코더로 변환합니다. 변환된 모델은 지속적인 대조 사전 학습(continual contrastive pre-training)을 통해 표현 학습(representation learning)에 적응하며, 이후 전정밀도 교사(full-precision teacher) 모델로부터 유사도 분포 증류(similarity-distribution distillation) 및 어텐션 관계 증류(attention-relation distillation)를 모두 사용하는 지도 대조 미세 조정(supervised contrastive fine-tuning)을 거칩니다. 백본을 양자화하는 것을 넘어, BITEMBED는 다양한 시나리오의 서로 다른 저장 요구 사항을 충족할 수 있도록 다양한 저장 정밀도(storage precisions)를 지원하도록 출력 임베딩을 추가로 학습합니다. Qwen3-0.6B 및 Gemma3-270M을 사용한 MMTEB (eng, v2) 실험 결과, BITEMBED는 전정밀도 교사 임베더와 거의 대등한 성능을 보여줍니다. 또한, BITEMBED는 다양한 정밀도의 텍스트 임베딩을 유연하게 얻을 수 있어 성능과 저장 비용 간의 절충(trade-off)을 달성합니다.