pathwaycom/llm-app

Pathway Live Data Framework의 **AI 파이프라인 (AI Pipelines)**을 사용하면 데이터 소스에서 사용 가능한 가장 **최신의 지식 (up-to-date knowledge)**을 활용하여, **대규모 환경에서 높은 정확도의 RAG 및 AI 엔터프라이즈 검색 (AI enterprise search)**을 제공하는 AI 애플리케이션을 빠르게 프로덕션에 적용할 수 있습니다. 이 프레임워크는 즉시 배포 가능한 LLM (Large Language Model) 앱 템플릿을 제공합니다. 사용자는 자신의 로컬 머신에서 테스트한 후 클라우드(GCP, AWS, Azure, Render, ...) 또는 온프레미스(on-premises)에 배포할 수 있습니다.

이 앱들은 사용자의 **파일 시스템 (file system), Google Drive, Sharepoint, S3, Kafka, PostgreSQL, 실시간 데이터 API (real-time data APIs)**에 있는 데이터 소스와 연결 및 동기화(모든 새로운 데이터 추가, 삭제, 업데이트 포함)됩니다. 별도의 설정이 필요한 인프라 의존성 없이 작동합니다. 또한 벡터 검색 (vector search), 하이브리드 검색 (hybrid search), 전체 텍스트 검색 (full-text search)을 가능하게 하는 내장 데이터 인덱싱 (built-in data indexing) 기능을 포함하고 있으며, 이 모든 과정은 캐시와 함께 인메모리 (in-memory) 방식으로 수행됩니다.

이 저장소(repo)에서 제공하는 애플리케이션 템플릿은 수백만 페이지의 문서까지 확장 가능합니다. 일부는 단순함에 최적화되어 있고, 일부는 놀라운 정확도에 최적화되어 있습니다. 자신에게 가장 적합한 것을 선택하십시오. 즉시 그대로 사용할 수도 있고, 파이프라인의 일부 단계를 변경할 수도 있습니다. 예를 들어, 새로운 데이터 소스를 추가하거나 벡터 인덱스 (Vector Index)를 하이브리드 인덱스 (Hybrid Index)로 변경하고 싶다면 단 한 줄의 코드 변경만으로 가능합니다.

애플리케이션 (템플릿)	설명
Question-Answering RAG App
기본적인 엔드 투 엔드 (end-to-end) RAG 애플리케이션입니다. 실시간으로 연결된 데이터 소스(파일, Google Drive, Sharepoint,...)에 있는 문서(PDF, DOCX,...)에 대한 질의에 답변을 제공하기 위해 선택한 GPT 모델을 사용하는 질의응답 (question-answering) 파이프라인입니다. 데모 REST 엔드포인트(endpoint)를 시도해 볼 수도 있습니다.
Live Document Indexing (Vector Store / Retriever)
벡터 스토어 (vector store) 서비스 역할을 하는 RAG용 실시간 문서 인덱싱 (indexing) 파이프라인입니다. 연결된 데이터 소스(파일, Google Drive, Sharepoint,...)로부터 문서(PDF, DOCX,...)에 대해 실시간 인덱싱을 수행합니다. 모든 프론트엔드(frontend)와 함께 사용할 수 있으며, Langchain 또는 Llamaindex 애플리케이션을 위한 리트리버 (retriever) 백엔드로 통합할 수 있습니다. 데모 REST 엔드포인트를 시도해 볼 수도 있습니다.
Multimodal RAG pipeline with GPT4o
파싱 (parsing) 단계에서 GPT-4o를 사용하여 연결된 데이터 소스(파일, Google Drive, Sharepoint,...)의 PDF 및 기타 문서를 인덱싱하는 멀티모달 (Multimodal) RAG입니다. 폴더 내의 비정형 금융 문서(차트 및 표 포함)에서 정보를 추출하고, 문서가 변경되거나 새로운 문서가 도착함에 따라 결과를 업데이트하는 데 완벽합니다.
Unstructured-to-SQL pipeline + SQL question-answering
비정형 금융 데이터 소스(금융 보고서 PDF)에 연결하여 데이터를 SQL로 구조화하고 PostgreSQL 테이블에 로드하는 RAG 예시입니다. 또한 LLM을 사용하여 사용자 질의를 SQL로 변환하고 PostgreSQL 테이블에서 쿼리를 실행함으로써 이러한 금융 문서에 대한 자연어 사용자 질의에 답변합니다.
Adaptive RAG App
정확도를 유지하면서 RAG의 토큰 비용을 최대 4배까지 줄이기 위해 Pathway에서 개발한 기술인 Adaptive RAG를 사용하는 RAG 애플리케이션입니다.
Private RAG App with Mistral and Ollama
Pathway Live Data Framework, Mistral, 그리고 Ollama를 사용하여 question_answering_rag RAG 파이프라인을 완전히 프라이빗(로컬) 버전으로 구현한 것입니다.
Slides AI Search App
슬라이드(slides) 검색을 위한 인덱싱 파이프라인입니다.

PowerPoint 및 PDF에 대한 멀티모달 (multi-modal) 기능을 수행하며, 슬라이드의 라이브 인덱스 (live index)를 유지합니다."

이 앱들은 **Docker 컨테이너 (Docker containers)**로 실행될 수 있으며, 프론트엔드와 연결하기 위한 HTTP API를 노출합니다. 빠른 테스트와 데모를 위해 일부 앱 템플릿에는 이 API에 연결되는 선택 사항인 Streamlit UI가 포함되어 있습니다.

이 앱들은 데이터 소스 동기화 및 API 요청 서빙을 위해 Pathway Live Data Framework에 의존합니다 (Pathway는 내부에 Rust 엔진이 구축된 독립형 Python 라이브러리입니다). 이들은 백엔드, 임베딩 (embedding), 검색 (retrieval), LLM 기술 스택을 위한 **단순하고 통합된 애플리케이션 로직 (unified application logic)**을 제공합니다. 생성형 AI (Gen AI) 앱을 위해 별도의 모듈을 통합하고 유지 관리할 필요가 없습니다: 벡터 데이터베이스 (Vector Database, 예: Pinecone/Weaviate/Qdrant) + 캐시 (Cache, 예: Redis) + API 프레임워크 (API Framework, 예: Fast API).

Pathway의 기본 선택 사항인 **내장 벡터 인덱스 (built-in vector index)**는 매우 빠른 usearch 라이브러리를 기반으로 하며, **하이브리드 전체 텍스트 인덱스 (hybrid full-text indexes)**는 Tantivy 라이브러리를 활용합니다. 모든 것이 즉시 작동합니다.

이 저장소의 각 앱 템플릿에는 실행 방법에 대한 지침이 담긴 README.md가 포함되어 있습니다.

Pathway 웹사이트에서 더 많은 즉시 실행 가능한 코드 템플릿을 찾을 수 있습니다.

멀티모달 RAG (multimodal RAG)를 통해 PDF, 문서 등에서 테이블 및 차트 데이터를 실시간으로 손쉽게 추출하고 정리하세요:

(GPT4o를 활용한 멀티모달 RAG 파이프라인 (Multimodal RAG pipeline with GPT4o)을 확인하여 작동 중인 전체 파이프라인을 살펴보세요. 또한 비멀티모달 모델에서도 작동하는 최소한의 예시인 Unstructured-to-SQL 파이프라인 (Unstructured-to-SQL pipeline)도 확인하실 수 있습니다.)

자동화된 실시간 지식 마이닝 (knowledge mining) 및 알림 (alerting):

(Google Drive에서 답변이 변경될 때 알림 (Alerting when answers change on Google Drive) 앱 예시를 확인해 보세요.)

피드백을 제공하거나 버그를 보고하려면, 저희 이슈 트래커 (issue tracker)에 이슈를 생성해 주세요.

문서화, 기능 추가, 버그 수정, 코드 정리, 테스트 또는 코드 리뷰 등 이 프로젝트에 기여하고자 하는 분들을 언제나 환영합니다. GitHub 프로젝트에 대한 첫 기여라면, 여기 시작 가이드 (Get Started Guide)를 참고해 주세요.

조금 더 많은 작업이 필요한 기여를 하고 싶다면, Pathway Discord 서버 (#get-help)에서 손을 들어 여러분이 무엇을 계획하고 있는지 저희에게 알려주세요!