RAG 파이프라인 짤 때 제일 귀찮은 게 클라우드 스토리지 데이터 동기화랑 인제스션 모니터링인데 이걸 싹 해결해 주는 오픈소스 프로젝트가

요약

클라우드 스토리지 데이터 동기화와 인제스션 모니터링 문제를 해결하는 오픈소스 프로젝트를 소개합니다. S3 및 Cloudflare R2 커넥터를 통해 문서 풀링과 실시간 진행 상황 모니터링을 지원합니다.

핵심 포인트

S3 및 Cloudflare R2 커넥터 지원
스케줄 기반의 자동 문서 풀링 기능
웹소켓을 통한 실시간 인제스션 모니터링
Turbopuffer 기반의 가볍고 빠른 성능

RAG 파이프라인 짤 때 제일 귀찮은 게 클라우드 스토리지 데이터 동기화랑 인제스션 모니터링인데 이걸 싹 해결해 주는 오픈소스 프로젝트가 나옴.
http://
rag.computer
에 S3랑 Cloudflare R2 커넥터가 붙었는데, 버킷만 지정해 두면 알아서 스케줄대로 문서 풀링해 오고 웹소켓으로 진행 상황까지 라이브로 쏴줌. Turbopuffer 기반이라 가볍고 속도도 빨라서 사내 문서 검색 엔진 뼈대로 빠르게 올려 쓰기 딱인 듯.

The real frustration when you set up three or four AI agents at once to churn out code in the background is that moment when you have no clue when it's done, so you're constantly digging through the terminal. The open-source cmux based on Ghostty flashes the window border blue

AI 자동 생성 콘텐츠

원문 바로가기

RAG 파이프라인 짤 때 제일 귀찮은 게 클라우드 스토리지 데이터 동기화랑 인제스션 모니터링인데 이걸 싹 해결해 주는 오픈소스 프로젝트가

요약

핵심 포인트

댓글