문장 임베딩 (Sentence embeddings)은 의미론적 검색 (semantic search), 클러스터링 (clustering), 분류 (classification), 그리고 검색 증강 생성 (Retrieval-Augmented Generation, RAG)을 위한 기초적인 구성 요소입니다. 본 논문은 768차원의 L2 정규화된 벡터를 생성하고 8,192 토큰의 컨텍스트 창 (context window)을 지원하는 터키어 특화 문장 임베딩 모델인 embeddingmagibu-200m을 제시합니다. 이는 이전의 BERT 기반 터키어 인코더 (encoders)가 가졌던 512 토큰 제한을 크게 상회하는 수치입니다. 전체 사전 학습 (pretraining) 대신, 효율적인 3단계 적응 파이프라인을 도입합니다: (1) 교사 (teacher) 모델의 어휘집에서 중복된 토큰을 제거하고 40개 언어 코퍼스 (corpus)에 대한 빈도 분석을 통해 다국어 토큰을 통합함으로써 131,072개의 어휘집을 가진 터키어 최적화 다국어 토크나이저 (tokenizer)를 구축합니다. (2) 트랜스포머 백본 (transformer backbone) 가중치를 보존하면서 교사 임베딩 모델을 복제하고, 평균 구성 토큰 매핑 (mean-composition token mapping)을 통해 새로운 어휘집에 호환되는 임베딩 테이블 (embedding table)을 초기화합니다. (3) 균형 잡힌 40개 언어 위키피디아 코퍼스에 대해 코사인 유사도 (cosine similarity) 목적 함수를 사용하여 미리 계산된 교사 벡터로부터 오프라인 임베딩 증류 (offline embedding distillation)를 수행합니다. 결과물인 학생 (student) 모델은 약 2억 개 (200M)의 파라미터 (parameters)를 포함하며, 학습 중 온라인 교사 추론 (online teacher inference)을 피함으로써 단일 GPU에서 약 4시간 만에, 총 5~20달러의 비용으로 학습됩니다. 실증적으로, STSbTR에서 77.55%/77.45%의 피어슨/스피어만 상관관계 (Pearson/Spearman correlations)를 얻어 3억 개 (300M) 파라미터의 교사 모델(73.84%/72.92%)을 능가했습니다. TR-MTEB (26개 태스크)에서는 평균 점수 63.9%를 달성하여 (26개 모델 중 7위), 교사 모델보다 33% 적은 파라미터로 경쟁력 있는 비용 대비 품질 (cost-quality trade-off)을 제공합니다. 재현성과 다운스트림 활용을 용이하게 하기 위해 모델 가중치, 토크나이저 파일, 미리 계산된 임베딩 데이터셋, 그리고 오픈 소스 복제 및 증류 도구를 포함한 모든 결과물을 공개합니다.