마켓플레이스 챗봇의 RAG 시맨틱 검색에 가장 적합한 임베딩 모델

요약

마켓플레이스 챗봇의 RAG 시맨틱 검색을 위해 최적의 임베딩 모델 선택 방법을 제시합니다. 초기에는 `text-embedding-3-small`로 시작하여 품질과 지연 시간 간의 트레이드오프를 평가하는 것이 합리적입니다. 단순한 벤치마크보다 실제 비즈니스 기준표(rubric)와 p95 지연 시간 등 구체적인 성능 지표를 통해 모델을 검증해야 합니다.

핵심 포인트

• RAG 검색은 `text-embedding-3-small`로 시작하여 합리적인 품질과 낮은 지연 시간을 확보할 수 있습니다.
• 모델 선택 시 일반 벤치마크보다 비즈니스 기준표(rubric)와 실패 모드를 고려해야 합니다.
• 평가 시 재현율, p95 검색 지연 시간 등 구체적인 성능 수치를 기록하는 것이 필수적입니다.