Show HN: RAGstack – VPC 내 기업용 사내 채팅봇, Llama 2 기반

요약

RAGstack은 RAG(Retrieval Augmented Generation) 기법을 활용하여 VPC 내에서 작동하는 기업용 사내 채팅봇 솔루션입니다. 이 시스템은 Llama 2, Falcon-7b 등 다양한 오픈 소스 LLM과 Qdrant 벡터 데이터베이스를 결합하여, 웹 페이지나 PDF 문서 같은 비정형 데이터를 기반으로 신뢰성 높은 답변을 제공합니다. 개발자는 로컬 환경(GPT4All)부터 Google Cloud (GKE), AWS EC2, Azure AKS에 이르기까지 다양한 클라우드 플랫폼에서 Terraform 기반의 배포 스크립트를 통해 쉽게 시스템을 구축할 수 있습니다.

핵심 포인트

• RAGstack은 RAG 기법을 사용하여 LLM의 컨텍스트를 외부 사내 데이터(PDF, Confluence 등)로 확장하여 신뢰성을 높입니다.
• 다양한 오픈 소스 모델(Llama 2, Falcon-7b, GPT4All)과 고성능 벡터 DB인 Qdrant를 통합합니다.
• 개발자는 로컬 환경부터 GCP, AWS, Azure에 이르기까지 주요 클라우드 플랫폼에서 배포할 수 있는 자동화된 스크립트와 Terraform 기반의 인프라 구성을 제공받습니다.
• 시스템 구축을 위해 Supabase 연동 및 초기 환경 설정(환경 변수, 테이블 생성 등)이 필요합니다.