여러분은 Qwen3-Embedding이나 Gemini Embedding 같은 임베딩 모델에 익숙하실 겁니다

여러분은 Qwen3-Embedding이나 Gemini Embedding 같은 임베딩 모델에 익숙하실 겁니다. 이들은 대규모 코퍼스에서 텍스트를 검색하는 데 사용되는 밀집 임베딩 모델(dense embedding model)입니다. 저는 RAG 에이전트를 개발하고 있는데, 가장 큰 걱정거리는 로컬 컴퓨팅 파워였습니다. RAG는 검색 품질에 크게 의존하며, 이는 모델 성능에 따라 달라집니다. 게다가 많은 사용 사례에서는 외부 인터넷 연결이나 API 모델을 사용할 수 없기 때문에 임베딩 모델은 로컬에서 실행되어야 합니다. 하지만 0.6B 모델조차도 작은 PC에는 상당히 무겁습니다. 제가 말하는 것은 최신 Mac Studio나 DGX Spark 같은 제품이 아닙니다. 저는 지루한 사무실 책상에 놓인 8GB RAM Windows PC나 5년 된 M1 MacBook Air를 이야기하고 있습니다. 그래서 SPLADE라는 모델을 찾았습니다. 이것은 기본적으로 BM25와 같은 희소 검색(sparse retrieval)이지만, 의미론적 의미(semantic meaning)를 사용합니다. SPLADE가 어떻게 작동하는지에 대한 설명은 생략하고 싶습니다. 왜냐하면 LLM이 저보다 더 잘 설명해 줄 수 있기 때문입니다. 어쨌든, SPLADE 모델은 정말 멋졌고 밀집 임베딩 모델(Qwen3-Embedding-0.6B)을 성공적으로 대체했습니다. 제가 직접 실험하면서 몇백 개의 쿼리로 평가 데이터셋을 만들었습니다. 코퍼스는 제 Mac에 있는 모든 문서였으며, 대부분 한국어이고 일부는 영어였습니다. 그래프에서 볼 수 있듯이, SPLADE는 유사한 쿼리 속도와 훨씬 적은 메모리를 사용하면서 Qwen3-0.6B 밀집 임베딩 모델보다 성능이 뛰어납니다. 크기가 작기 때문에 추론(inference) 시 1.5GB VRAM 미만으로 작동합니다. 따라서 MacBook Air 같은 비교적 작은 시스템에서도 실행할 수 있습니다. 저는 M5 MacBook Air 16GB에서 밀집 임베딩 모델과 SPLADE 모델을 모두 테스트했습니다. 밀집 임베딩 모델은 사용하기 거의 불가능했으며, 제 맥북이 높은 온도 때문에 곧 재부팅되었습니다. SPLADE 모델은 OOM 오류나 경고 없이 끝까지 작동했습니다. 저는 원래의 SPLADE 모델을 사용하지 않았습니다. 대신 영어와 한국어 모두에서 뛰어난 성능을 보이는 KURE-sparse-nano를 사용했습니다. 재미있는 점은, SPLADE와 밀집 임베딩 모델을 결합한 하이브리드 검색(hybrid retrieval)이 사실 SPLADE 단독보다 성능이 떨어진다는 것입니다.

저사양 로컬 환경을 사용하지만 빠르고 저렴한 로컬 RAG 시스템을 운영하고 싶다면 SPLADE 모델을 사용해 볼 것을 추천합니다. 이 모델은 강력하면서도 크기가 작습니다. 게다가, 제가 전체 구현체를 오픈 소스화했기 때문에 모든 것을 재구현할 필요 없이 쉽게 다운로드하여 사용할 수 있습니다. AutoRAG Agent를 확인해 보세요. 저는 더 빠른 검색을 위해 KURE-sparse-nano 모델의 추론(inference), 해당 코드, 그리고 Rust로 구현된 LanceDB 인덱싱 및 역색인(inverted index) 구현을 최적화했습니다. 제출자: /u/jeffrey-0711 [link] [comments]