임베딩(embedding), 리랭킹(reranking), OCR, 안전 검토 등 각 기능마다 별도의 모델 서비스를 사용해 AI 에이전트 애플리케이션을 구축하고 유지하는 것은 정말 골치 아픕니다.

최근 GitHub에서 SIE라는 오픈소스 추론 엔진을 보았습니다. 이 엔진은 모든 모델 작업을 하나의 클러스터로 통합하여 단일 API로 처리할 수 있게 합니다.

OpenAI 인터페이스와 호환되므로 기존 코드를 거의 수정할 필요가 없습니다. 또한, 100개가 넘는 오픈소스 모델을 내장하고 있으며, 이는 온디맨드(on demand)으로 로드되고 작업 완료 후 GPU 메모리를 자동으로 해제합니다.

GitHub:
http://github.com/superlinked/sie
이 프로젝트는 검색 검색(search retrieval), 문서-Markdown 변환(document-to-Markdown conversion), 구조화된 출력(structured output), 콘텐츠 안전 검토(content safety review), 에이전트 추론(Agent reasoning)의 다섯 가지 주요 작업 범주를 다루며, 각 범주별로 여러 개의 교체 가능한 모델을 미리 구성해 두었습니다.

LangChain, LlamaIndex, CrewAI와 같은 주류 프레임워크 및 벡터 데이터베이스에 직접 통합할 수 있습니다.

로드 밸런싱(load balancing), 자동 스케일링(auto-scaling), 모니터링 패널을 포함한 Kubernetes 배포 설정까지 모두 하나의 패키지에 담겨 제공됩니다.

만약 자체 에이전트 인프라를 구축하고 분산된 모델 서비스들을 한 곳으로 통합하려는 경우, 이 프로젝트를 시도해 볼 가치가 있습니다.