실무 기초부터 엔터프라이즈(Enterprise) 규모의 검색 시스템까지 다루는 검색 증강 생성 (Retrieval-Augmented Generation, RAG)을 위한 구조화된 학습 저장소입니다.

이 저장소는 단순한 데모가 아닌 학습 지도(Learning Map)로 설계되었습니다. 체계적인 RAG 경로를 원하는 사람들을 위해 데이터 정제(Data Cleaning), 검색(Retrieval), 답변 생성(Answer Generation), GraphRAG, 벡터 데이터베이스(Vector Database) 아키텍처, 그리고 멀티모달(Multimodal) 방향을 다룹니다.

• RAG 개념, 주의사항(Pitfalls), 실행 가능한 예제를 한곳에 수집
• 학습자에게 기초부터 프로덕션(Production) 지향적 주제까지의 단계적 학습 제공
• 엔터프라이즈 검색 관련 고려 사항을 실습용 노트북(Notebook) 및 노트와 밀접하게 연결

제로 베이스에서 검색 증강 생성 (Retrieval-Augmented Generation, RAG) 기술을 학습하고, 엔터프라이즈급 지식 베이스 구축을 위한 완전한 방법론을 마스터하세요.

AI 대규모 언어 모델 (Large Language Model, LLM) 시대에 우리는 종종 AI가 기업 내부 문서, 전용 데이터 등 비공개 정보를 처리하도록 해야 합니다. 하지만 이러한 콘텐츠는 모델의 학습 범위에 포함되지 않기 때문에 지식 공백이 발생할 수 있습니다. RAG 기술은 이 문제를 효과적으로 해결합니다. RAG는 AI 모델이 우리가 제공하는 전용 지식을 실시간으로 가져오고 이해할 수 있게 하여, 특정 도메인이나 시나리오에 대해 더욱 정확하고 관련성 높은 답변을 제공할 수 있게 합니다.

본 프로젝트는 기초 개념부터 고급 응용까지 완전한 지식 체계를 포괄하며, 특히 실제 프로젝트에서 마주치는 다양한 문제와 그 해결책에 집중하는 체계적인 RAG 실전 튜토리얼입니다.

• 🎓 대규모 언어 모델 (LLM) 애플리케이션 개발을 공부하는 학생
• 💼 기업용 지식 베이스를 구축해야 하는 엔지니어
• 🔧 RAG 실무 문제를 해결하고 싶은 개발자
• 🧪 AI 기술에 관심이 있는 연구원

문제 중심: 단순히 기술을 소개하는 것에 그치지 않고, 실제 프로젝트에서의 "7가지 함정"과 그 해결책에 집중합니다. 코드 실행 가능: 모든 개념에는 실행 가능한 Jupyter Notebook 코드 예제가 포함되어 있습니다. 명확한 아키텍처: "입력 최적화 - 정확한 검색 - 양호한 표현"의 최적화 사고방식에 따라 내용을 구성했습니다. 지속적인 업데이트: 최신 기술 트렌드를 추적하며 새로운 내용을 지속적으로 보충합니다.

RAG/
├── README.md # 프로젝트 개요 (본 파일)
├── requirements.txt # Python 의존성 패키지
...

목표: RAG의 기본 원리와 응용 시나리오 마스터

• 📖 기초 지식 문서 읽기
• RAG란 무엇인가? 왜 RAG가 필요한가?
• RAG의 핵심 단계
• RAG의 7가지 흔한 문제점

학습 시간: 30분

목표: 이미지, 표 등 복잡한 형식의 데이터 처리 문제 해결

해결하는 문제:

• ✅ 이미지 콘텐츠를 가져올 수 없음
• ✅ 표(Table) 콘텐츠의 검색 성능 저하

학습 시간: 2-3시간

목표: 시나리오에 적합한 검색 기술 선택

🔍 검색 기술 비교 실습

• 벡터 검색 (Embedding + Rerank)

• 키워드 검색 (BM25)

• 그래프 검색 (GraphRAG)

• 하이브리드 검색 전략

📚 고급 Embedding 모델 선택

• OpenAI vs BGE vs JinaAI

• 중국어 모델 추천

• 비용과 성능의 균형

• 모델 선택 의사결정 트리

🕸️ 특화 주제: GraphRAG 그래프 검색

• 지식 그래프 (Knowledge Graph) 구축
• Neo4j + LangChain
• GraphRAG vs 벡터 검색
• 적용 시나리오 판단

해결하는 문제:

• ✅ 질문에 대응하는 텍스트 블록을 항상 검색하지 못함
• ✅ 긴 텍스트에 대한 요약형 질문에 답변이 불완전함
• ✅ 복잡한 관계 쿼리의 효과가 떨어짐

학습 시간: 6-8시간

목표: AI의 답변을 더 정확하고 요구사항에 부합하도록 만들기

• 🎯 LLM 답변 생성 실습
• 프롬프트 (Prompt) 엔지니어링 기초
• 검색된 콘텐츠를 기반으로 답변 생성
• 답변 구조화
• 인용 출처 표기

해결하는 문제:

• ✅ 검색된 지식은 맞지만, 답변의 어조, 말투 및 정밀도가 떨어짐

학습 시간: 2-3시간

목표: 더 지능적인 RAG 시스템 구현

🤖 기초 RAG 에이전트 (Agent) 실습

• 답변 스타일 및 어조 조정

• 대화 메모리 (Memory) 관리

• 허위 정보 생성 및 환각 (Hallucination) 방지

🚀 고급 적응형 RAG (Adaptive RAG)

• 지능형 라우팅 (Routing): 지식 베이스 쿼리 vs 웹 검색
• 지식 보완: 누락된 지식에 대한 웹 검색 보완
• 정확도 제어: 지식 베이스를 기반으로 답변하도록 강제

해결하는 문제:

• ✅ 지식 베이스가 매우 커서 정확도를 보장하기 위해 완전히 테스트하기 어려움

학습 시간: 3-4시간

목표: 프로덕션급 벡터 데이터베이스 (Vector Database) 배포 및 최적화 숙달

• 🗄️ Milvus 아키텍처 원리 심층 탐구

  • 7계층 데이터 조직 구조
  • Growing/Sealed Segment 메커니즘
  • Flush 및 Compaction 전략
  • 3계층 스토리지 아키텍처 설계

• 💼 면접: 벡터 데이터베이스 면접 가이드

  • 빈출 면접 질문
  • 표준 답변 템플릿
  • 실전 시나리오 설계

해결하는 문제:

• ✅ FAISS가 대규모 프로덕션 요구사항을 충족하지 못함
• ✅ 벡터 데이터베이스의 저수준 (Low-level) 원리를 이해하지 못함
• ✅ 면접에서 기술적 세부 사항을 깊이 있게 설명하지 못함

학습 시간: 4-6시간

목표: 멀티모달 임베딩 (Multimodal Embedding) 기술을 학습하여 이미지, 텍스트, 오디오, 비디오 결합 검색 구현

• 🎨 멀티모달 임베딩 탐색
  • CLIP 이미지-텍스트 결합 임베딩
  • 이미지로 이미지 검색, 텍스트로 이미지 검색
  • 비디오 콘텐츠 검색
  • 멀티모달 RAG 시스템

해결하는 문제:

• ✅ 순수 텍스트 RAG가 이미지 콘텐츠를 처리할 수 없음
• ✅ 이미지로 이미지 검색 기능을 구현해야 함
• ✅ 비디오, 오디오 검색 요구사항
• ✅ 더 풍부한 멀티모달 애플리케이션 구축

학습 시간: 3-5시간 (이론) + 필요에 따른 실습

• Python 3.10+
• 8GB+ RAM
• OpenAI API 또는 Azure OpenAI 서비스

# 1. 프로젝트 클론
git clone <repository-url>
cd RAG
...

02_data_retriever/data_retriever.ipynb를 열고,

코드 셀을 순서대로 실행하여 벡터 검색의 전체 프로세스를 경험해 보세요.

# FastAPI 서비스 시작
python main.py
# http://localhost:8005 접속
...

내용 요약: 질문될 가능성이 있는 자료만 임포트
내용 정확성: 모호하거나 모순된 설명 방지
형식 표준화: 이미지, 표를 검색 가능한 텍스트로 변환

추천 도구: OmniParse

프롬프트 엔지니어링 (Prompt Engineering): 적절한 시스템 프롬프트 설계
스타일 제어: 답변의 격식 및 상세 정도 조절
메모리 관리: 문맥의 일관성 유지
환각 제어 (Hallucination Control): AI가 존재하지 않는 정보를 지어내는 것을 방지

LLM 프레임워크: LangChain
대규모 언어 모델 (LLM): OpenAI GPT-4 / Azure OpenAI
벡터 데이터베이스: FAISS, ChromaDB
임베딩 (Embedding) 모델: OpenAI text-embedding-3-small
문서 처리: Unstructured, pdf2image
웹 프레임워크: FastAPI
개발 환경: Jupyter Notebook

저희와 함께 RAG 기술 탐구에 참여해 주시길 환영합니다!

• 🐛 Issue 제출: 버그 발견 또는 개선 제안
• 💡 아이디어 제안: future_practice에 탐구하고 싶은 기술 추가
• 📝 문서 개선: 튜토리얼 내용 보완 또는 오류 수정
• 💻 코드 기여: Pull Request 제출

완료됨 ✅:

• 임베딩 (Embedding) 모델 선택 가이드 (완료)
• GraphRAG 원리 및 응용 (완료)
• Milvus 엔터프라이즈급 아키텍처 (완료)
• 벡터 데이터베이스 면접 가이드 (완료)

개발 예정 📋:

개발 예정 📋:

• 임베딩 모델 비교 실험 (02_data_retriever/embedding_compare.ipynb)
• 임베딩 모델 미세 조정 방법 (02_data_retriever/embedding_finetune.ipynb)
• Neo4j 그래프 검색 실전 (04_graph_rag/graph_rag_basic.ipynb)
• Microsoft GraphRAG 구현 (04_graph_rag/graphrag_microsoft.ipynb)
• Milvus 기본 배포 튜토리얼 (07_vector_database_enterprise/milvus_basic_setup.ipynb)
• Segment 관리 실전 (07_vector_database_enterprise/milvus_segment_management.ipynb)
• 기업 뉴스 검색 시스템 (07_vector_database_enterprise/milvus_news_system.ipynb)
• CLIP 이미지-텍스트 검색 입문 (08_multimodal_embedding/clip_basics.ipynb)
• 이커머스 제품 검색 시스템 (08_multimodal_embedding/ecommerce_image_search.ipynb)
• 스마트 앨범 관리 (08_multimodal_embedding/photo_album_search.ipynb)
• 비디오 콘텐츠 검색 (08_multimodal_embedding/video_search.ipynb)
• 다중 모드 RAG 시스템 (08_multimodal_embedding/multimodal_rag_system.ipynb)
• RAG 자동 평가 프레임워크
• LightRAG 구현 및 비교
• 더 많은 기여를 기대합니다...

문의사항이나 제안 사항이 있으시면 다음 방법을 통해 연락 주십시오:

• 📮 이슈 제출 (Submit Issue)
• 💬 토론 참여 (Participate Discussions)
• 📧 이메일 전송 (Send Email)

본 프로젝트는 MIT 라이선스를 채택하고 있습니다 - 자세한 내용은 LICENSE 파일을 참조하십시오.

⭐ 본 프로젝트가 도움이 되었다면 Star를 눌러 지지해 주세요!

즐거운 학습 되세요! 🎉