저는 임베딩 모델을 가지고 놀다가, 모델 A에서 B로 업그레이드할 때 매우 큰 백필링(backfilling) 비용이 발생한다는 것을 알게 되었습니다. 예를 들어, 모델 A로 10억 개의 벡터를 가지고 있다고 가정하고, 이제 모델 B를 사용하고 싶다고 해봅시다. 이는 모델을 서비스에 사용할 수 있게 하려면 모든 문서를 모델 B로 다시 임베딩해야 한다는 의미이며, H100 기준으로 약 108일이 걸립니다 (qwen embed 8b, 초당 106개 문서). 하지만 저는 더 쉬운 방법을 찾아냈습니다. 이 방법은 정말 간단합니다. 소스 모델로 만든 기존 인덱스에서 K개의 문서를 가져와 새로운 모델로 재랭킹(rerank)하는 것입니다. K가 충분하면 검색 품질이 타겟 모델과 동일하다는 것을 확인했습니다. (K를 결정하는 것이 어려운 부분입니다). 저는 최대 100만 개의 문서에 대해 63번의 마이그레이션을 테스트해 보았습니다. 제가 얻은 최고의 결과는 qwen4b에서 8b로 업그레이드했을 때였으며, 50개의 문서만으로 네이티브 검색과 동일했습니다. 이 방법은 비싼 초기 재임베딩 비용을 절약해주기 때문에, 기존 인덱스에서 문서를 바로 가져올 수 있습니다. embedflow는 qdrant, pgvector, faiss와 함께 작동하며, pypi pip install embedflow로 쉽게 다운로드할 수 있습니다. GitHub 주소는 공개되어 있습니다: https://github.com/arnsri33/embedflow 여러분이 직접 사용해 보시고 자신의 워크플로우에 적용할 수 있는지 확인해보시길 바랍니다. /u/Potential_Low_1183 님이 r/LocalLLaMA에 제출했습니다. [링크] [댓글]