요약

MTEB 점수만으로는 Embedding 모델의 실제 성능을 판단하기 어렵습니다. 이 글은 2026년 4월 기준 주요 8 개 모델의 API 요금, 차원 수, MTEB 성능을 종합 비교하고 Python 으로 다축 스코어카드를 구현하는 방법을 안내합니다. Matryoshka 차원 축소와 양자화의 조합이 비용과 정밀도에 미치는 영향, 일본어 RAG 작업에서의 실측 데이터와 벤치마크 간 격차까지 정량적으로 분석하여 용도별 Pareto 최적 모델을 자동 선별할 수 있습니다.

핵심 포인트

• MTEB 점수만으로는 비용 (API 요금), 지연 시간 (Latency), 저장 공간 (Storage) 을 고려한 종합 평가가 불가능함
• Python 기반 다축 스코어카드 구현을 통해 용도별로 Pareto 최적의 모델을 자동으로 선별할 수 있음
• Matryoshka 차원 축소와 양자화 (Quantization) 를 결합했을 때 비용과 정밀도에 미치는 영향을 정량적으로 분석 가능함
• 일본어 RAG 작업에서 벤치마크 점수와 실제 성능 간 격차가 존재하므로 실측 데이터 기반 모델 선택이 중요함