얼마 전에 저는 embedflow (https://github.com/arnsri33/embedflow)에 대해 게시했고 큰 관심을 받았습니다. 기본적인 아이디어는 꽤 간단했습니다. 기존 임베딩 인덱스를 후보 검색(candidate retrieval)용으로 유지하고 → 새로운 임베딩 모델로 'k'개의 후보를 재순위화(rerank)한 다음 → 새 모델을 사용하기 위해 전체 재임베딩(re-embed)이 필요하지 않도록 점진적으로 새로운 임베딩을 생성하는 것입니다. 이 프로젝트는 예상보다 훨씬 많은 관심을 받았고, 댓글들은 '-멋진 아이디어지만, 실제로 K를 어떻게 알아야 하나요?', '-콜드 캐시(cold cache)에서는 어떻게 되나요?', '-프로덕션 트래픽에서 안전하게 테스트하려면 어떻게 해야 하나요?', '-제 벡터 DB와 작동할 수 있나요?' 등과 같은 내용이었습니다. 그래서 지난 한 주 동안 이 프로젝트를 마이그레이션 엔진에서 실제 마이그레이션 워크플로우를 지원하는 무언가로 바꾸는 데 시간을 보냈습니다.

추가된 기능:

1. FAISS, Qdrant, pgvector, Pinecone, Milvus, 그리고 Weaviate 지원.
2. 마이그레이션 플래너(Migration planner) -> embedflow plan은 소스 인덱스, 소스/타겟 모델 계약(source/target model contracts), 프로브 쿼리(probe queries), + 기타 증거를 살펴보고 후보 K와 마이그레이션 계획을 추천합니다.
3. 섀도우 모드(Shadow mode) -> 기존/소스 검색이 권위적(authoritative)으로 남아있는 동안 새로운 임베딩 경로를 실제 트래픽에 대해 실행할 수 있습니다. 섀도우 경로는 충돌하거나, 시간 초과되거나, 포화될 수 있지만 여전히 사용자가 받는 응답을 변경하거나 차단하지 않습니다.
4. 트래픽 인식 사전 예열(Traffic aware prewarming)
5. 영구 타겟 캐시(Persistent Target Cache) + 백그라운드 물질화(background materialization)
6. 광범위한 보고서

이것을 python으로, 단지 pip install embedflow로 사용할 수 있습니다. /u/Potential_Low_1183 님이 제출했습니다 [link] [comments]