문서에서 Q&A 쌍을 자동으로 생성하는 RAG 도구

제목: 문서에서 Q&A 쌍을 자동으로 생성하는 RAG 도구 태그: ai, docker, ollama, selfhosted

본문: 대부분의 RAG (Retrieval-Augmented Generation) 도구들은 문서를 청크 (chunks) 단위로 나누고 이를 임베딩 (embed) 합니다. FastGPT는 더 스마트한 방식을 사용합니다. LLM (Large Language Model)을 사용하여 문서를 읽고 질문-답변 (Q&A) 쌍을 자동으로 생성합니다. GitHub 스타 27K 개. 시각적 워크플로우 빌더 (Visual workflow builder). 영어 통합 콘텐츠가 거의 없음. 여기 가이드를 소개합니다.

FastGPT란 무엇인가요?
FastGPT는 두 가지 뛰어난 기능을 가진 LLM 기반 지식 플랫폼입니다:

1. QA-pair 추출 (QA-pair extraction)
   단순한 청킹 (chunking) 대신, FastGPT는 LLM으로 문서를 읽고 다음과 같은 쌍을 추출합니다:
   질문: 반품 기간은 얼마인가요? → 답변: 구매 후 영수증 지참 시 30일 이내입니다.
   질문: 어떤 결제 수단이 허용되나요? → 답변: Visa, Mastercard, PayPal.
   이러한 쌍들이 임베딩되고 검색되는 대상이 됩니다. 쿼리 (query) 시점에 질문이 질문과 매칭되므로, 질문을 무작위 문서 청크와 매칭하는 것보다 훨씬 더 정확합니다.
   활성화 방법: 데이터셋 (Dataset) → 업로드 (Upload) → 처리 모드 (Processing Mode) → QA Split (Simple Split이 아님).

2. 시각적 워크플로우 빌더 (Visual workflow builder)
   FastGPT는 코드 없이 분기형 RAG 파이프라인을 구축할 수 있는 노드 에디터 (node editor)를 제공합니다. 의도 분류 (Classify intent) → FAQ 또는 문서 검색으로 라우팅 (route) → 출력 형식 지정 (format output). 각 단계는 설정 가능한 노드입니다.

⚠️ 라이선스 고지 (License Notice)
FastGPT는 이를 타인에게 SaaS (Software as a Service) 서비스로 재판매하는 것을 금지하는 자체 라이선스를 사용합니다.
✅ 귀하의 팀을 위한 셀프 호스팅 (Self-hosted) — 허용
✅ 귀하의 제품 내 백엔드 구성 요소로 사용 — 허용
❌ 고객에게 서비스 형태로 FastGPT를 판매 — 허용되지 않음
상업적 자유가 필요하다면 대신 MaxKB (Apache 2.0) 또는 WeKnora (MIT)를 사용하세요.

설정 (Setup)
저장소를 클론 (Clone)하고, .env.example을 .env로 복사한 다음, docker compose up -d를 실행하세요. localhost:3000을 열고 root / 1234로 접속하세요. FastGPT는 MongoDB (대화 저장용)와 pgvector가 포함된 PostgreSQL (벡터 검색용)이 필요합니다. 두 가지 모두 docker-compose에 포함되어 있습니다. 전체 docker-compose: fastgpt-production-stack

Ollama 연결하기
FastGPT는 Ollama가 /v1에서 제공하는 OpenAI 호환 API를 사용합니다.

Settings → AI Models → Add: Provider: OpenAI 호환 (OpenAI Compatible) Base URL: http://ollama:11434/v1 API Key: ollama (비어 있지 않은 임의의 문자열이면 작동함) Model name: llama3

QA-Pair 추출 (QA-Pair Extraction) vs 단순 청킹 (Simple Chunking)
이것이 FastGPT의 진정한 강점입니다. 구체적인 예시를 들어보겠습니다: 귀하의 문서에 다음과 같이 적혀 있다고 가정합니다: "반품은 모든 포장이 포함된 원래 상태인 경우, 원래 구매일로부터 30일 이내에 가능합니다." 단순 청킹 (Simple chunking)은 이 문장을 있는 그대로 임베딩 (Embedding) 합니다. 사용자가 "3주 후에 제품을 반품할 수 있나요?"라고 질문하면, 검색 (Retrieval)은 질문과 해당 청크 사이의 의미론적 유사성 (Semantic similarity)에 의존하게 됩니다.

QA-Pair 추출 (QA-pair extraction)은 다음과 같이 생성합니다: Q: "반품 기한은 언제인가요?" → A: "구매일로부터 30일 이내입니다." 이제 질문이 질문과 직접적으로 일치하게 되어, 검색 신뢰도 (Retrieval confidence)가 훨씬 높아집니다. 속도보다 정확도가 더 중요한 지식 베이스 (Knowledge bases)의 경우, 이 기술은 단순한 청킹 (Naive chunking)보다 일관되게 우수한 성능을 보입니다.

FastGPT vs 대안들

구분	FastGPT	WeKnora	MaxKB	RAGFlow
QA-pair 추출 (QA-pair extraction)	✅	❌	❌	❌
시각적 워크플로우 (Visual workflow)	✅	❌	❌	❌
라이선스 (License)	Custom*	MIT	Apache 2.0	Apache 2.0
설정 복잡도 (Setup complexity)	중간 (Medium)	중간 (Medium)	쉬움 (Easy)	어려움 (Hard)
PDF 표 파싱 (PDF table parsing)	좋음 (Good)	기본 (Basic)	기본 (Basic)	매우 우수 (Excellent)

다음과 같은 경우에 FastGPT를 선택하세요: 최대 정확도를 위해 QA-Pair 추출이 필요하거나, 복잡한 라우팅 로직 (Routing logic)을 위한 시각적 파이프라인 빌더 (Visual pipeline builder)가 필요한 경우.

운영 환경 배포 (Production Deployment)
FastGPT를 실제 도메인에서 사용하려면 Nginx + SSL이 필요합니다. Nginx 설정 및 Let's Encrypt 지침이 포함된 운영용 docker-compose는 다음과 같습니다: → fastgpt-production-stack

전체 시리즈
이것은 중국 AI 도구 시리즈의 마지막 기사입니다: 서구권이 간과하고 있는 5가지 중국 AI 도구 — 여기서 시작하세요

• WeKnora — Tencent의 RAG 프레임워크
• MaxKB — 가장 단순한 셀프 호스팅 RAG
• DB-GPT — 데이터베이스와 채팅하기

다섯 가지 도구 모두를 위한 Docker Compose + Ollama + n8n이 포함된 메타 저장소: → chinese-ai-tools-english-guide

QA-Pair 추출은 과소평가되어 있습니다. 고객 지원 봇이나 내부 지식 베이스를 구축하고 있다면, 한 번 시도해 보세요. 그 이후에는 단순한 청킹 (Naive chunking) 방식으로 돌아가는 것이 어색하게 느껴질 것입니다.