NirDiamant/RAG_Techniques

#1 Amazon Generative AI 분야 베스트셀러

이 저장소의 모든 내용을 기반으로 구축된 이 책은 훨씬 더 깊이 있게 다룹니다. 모든 기술 뒤에 숨겨진 직관 (intuition), 각 기술이 언제 승리하는지(그리고 언제 조용히 실패하는지)에 대한 사이드 바이 사이드 비교 (side-by-side comparisons), 그리고 까다로운 부분을 마침내 이해할 수 있게 해주는 **삽화 (illustrations)**를 제공합니다.

출시 기간이 종료되면 가격이 인상됩니다. 지금 구매하는 독자들은 역대 최저가를 확보할 수 있으며, 수개월간의 연구, 집필 및 반복 과정을 거쳐 완성된 동일한 자료를 얻게 됩니다.

이 시리즈의 선수 학습 교재인 Prompt Engineering: Master the Art of AI Interaction은 4월 21일까지 Kindle Countdown Deal을 통해 $2.99에 제공됩니다. RAG 기술을 학습하기 전에 프롬프팅 (prompting) 기초를 강화하세요.

🌟

이 프로젝트를 후원하세요: 귀하의 후원은 RAG 기술의 혁신을 가속화합니다. 이 가치 있는 리소스를 유지하고 확장하는 데 도움이 되도록 후원자가 되어 주세요!

이 프로젝트에 크게 기여해 주신 기관과 개인분들께 깊은 감사를 표합니다.

기업 후원사

개인 후원사

오늘날 이용 가능한 가장 포괄적이고 역동적인 검색 증강 생성 (Retrieval-Augmented Generation, RAG) 튜토리얼 컬렉션에 오신 것을 환영합니다. 이 저장소는 RAG 시스템의 정확성, 효율성 및 문맥적 풍부함을 향상시키는 것을 목표로 하는 최첨단 기술의 허브 역할을 합니다.

🚀최첨단 업데이트 |
💡전문가 통찰력 |
🎯상위 0.1% 콘텐츠 |

검색 증강 생성 (Retrieation-Augmented Generation, RAG)은 정보 검색과 생성형 AI (Generative AI)를 결합하는 방식을 혁신하고 있습니다. 이 저장소는 귀하의 RAG 시스템을 강화하여 더욱 정확하고 문맥적으로 관련성이 높으며 포괄적인 응답을 제공할 수 있도록 설계된 엄선된 고급 기술 컬렉션을 보여줍니다.

우리의 목표는 RAG로 가능한 것의 경계를 넓히고자 하는 연구자와 실무자들에게 가치 있는 리소스를 제공하는 것입니다. 협력적인 환경을 조성함으로써, 우리는 이 흥미로운 분야의 혁신을 가속화하는 것을 목표로 합니다.

🚀 저의 Agents Towards Production 저장소를 통해 한 단계 더 성장해 보세요. 이 저장소는 프로덕션급 GenAI (생성형 AI) 에이전트를 구축하는 생애주기(lifecycle)의 모든 도구와 단계를 다루는 수평적이고 코드 우선(code-first) 방식의 튜토리얼을 제공합니다. 검증된 패턴과 실제 출시를 위한 재사용 가능한 청사진(blueprints)을 통해 아이디어의 시작부터 확장(scale)까지 안내하며, 에이전트를 프로덕션 환경에 배포하는 데 진심이라면 가장 현명한 시작점이 될 것입니다.

🤖 다양한 AI 에이전트 구현 사례와 튜토리얼을 발견하려면 저의 GenAI Agents Repository를 탐색해 보세요. 서로 다른 AI 기술들이 어떻게 결합되어 강력하고 상호작용적인 시스템을 구축할 수 있는지 보여줍니다.

🖋️ 기초 개념부터 고급 기술까지, 프롬프팅 전략의 포괄적인 컬렉션이 담긴 저의 Prompt Engineering Techniques guide를 확인해 보세요. AI 언어 모델과 효과적으로 상호작용하는 능력을 향상시켜 줍니다.

이 저장소는 여러분의 기여를 통해 더욱 강력해집니다! 이 프로젝트를 함께 형성하고 발전시키기 위한 중심 허브인 우리의 활기찬 커뮤니티에 참여하세요 🤝

여러분이 전문가이든 이제 막 시작하는 단계이든, 여러분의 통찰력은 RAG의 미래를 형성할 수 있습니다. 아이디어를 제안하고, 피드백을 받으며, 혁신적인 기술을 위해 협업하기 위해 저희와 함께하세요. 기여 가이드라인에 대해서는 CONTRIBUTING.md 파일을 참조해 주세요. 함께 RAG 기술을 발전시켜 나갑시다!

🔗 GenAI, RAG 또는 커스텀 에이전트에 대한 토론을 원하거나 지식 공유 기회를 탐색하려면, 언제든지 LinkedIn에서 연결해 주세요.

• 🧠 최첨단 (State-of-the-art) RAG 개선 사항
• 📚 각 기술에 대한 포괄적인 문서
• 🛠️ 실질적인 구현 가이드라인
• 🌟 최신 발전 사항을 반영한 정기적인 업데이트

저희의 광범위한 최첨단 RAG 기술 목록을 탐색해 보세요:

최근 추가됨: MemoRAG (memory-augmented retrieval, 메모리 증강 검색), End-to-End RAG Evaluation, Open-RAG-Eval, JSON RAG.42 노트북이며 계속 성장 중입니다.

Simple RAG 🌱

LangChain:LlamaIndex:Runnable Script

입문자에게 이상적인 기초 RAG 기술을 소개합니다.

기초적인 검색 쿼리(retrieval queries)로 시작하여 점진적 학습 메커니즘을 통합해 보세요.

CSV 파일을 사용한 간단한 RAG 🧩

CSV 파일을 사용하는 기본적인 RAG를 소개합니다.

이 방식은 CSV 파일을 사용하여 기본적인 검색 (retrieval)을 생성하고, OpenAI와 통합하여 질문 답변 (question and answering) 시스템을 구축합니다.

검색된 정보의 정확성과 관련성을 보장하기 위해 검증 (validation) 및 개선 (refinement) 단계를 추가하여 간단한 RAG를 강화합니다.

검색된 문서의 관련성을 확인하고 답변에 사용된 문서의 세그먼트 (segment)를 강조 표시합니다.

청크 크기 (Chunk Size) 선택 📏

LangChain: Runnable Script

문맥 보존 (context preservation)과 검색 효율성 (retrieval efficiency) 사이의 균형을 맞추기 위해 텍스트 청크 (text chunks)에 적절한 고정 크기를 선택합니다.

사용자의 특정 유스케이스 (use case)에 맞춰 문맥 보존과 검색 속도 유지 사이의 최적의 균형을 찾기 위해 다양한 청크 크기로 실험해 보세요.

텍스트를 간결하고 완전하며 의미 있는 문장으로 분해하여, 특정 쿼리(특히 지식 추출)에 대한 더 나은 제어와 처리를 가능하게 합니다.

• 💪
  명제 생성 (Proposition Generation): LLM은 커스텀 프롬프트 (custom prompt)와 결합되어 문서 청크로부터 사실적인 진술 (factual statements)을 생성하는 데 사용됩니다. - ✅
  품질 검사 (Quality Checking): 생성된 명제들은 정확성, 명확성, 완전성 및 간결성을 평가하는 채점 시스템 (grading system)을 거칩니다.

• 💪

JSON 문서를 사용한 RAG는 JSON 파일을 사용하여 검색 및 질문 답변 시스템을 구축하는 방법입니다.

• 📄 데이터 로딩 및 추출 (Data Loading & Extraction): 항목당 여러 필드가 있는 JSON 데이터를 로드하고, 가장 관련 있는 텍스트 필드들을 결합하여 임베딩 (embedding)을 생성합니다.
• 🔍 검색 (Retrieval): 시스템은 사용자의 쿼리 (query)를 기반으로 가장 관련 있는 JSON 항목을 검색합니다.

명제 방식 (The Propositions Method): AI 시스템을 위한 정보 검색 강화 - RAG 시스템에서 명제 청킹 (proposition chunking)의 이점과 구현을 탐구하는 종합적인 블로그 포스트입니다.

쿼리 변환 (Query Transformations) 🔄

LangChain: Runnable Script

검색 효율성을 높이기 위해 쿼리를 수정하고 확장합니다.

• ✍️
  Query Rewriting (쿼리 재작성): 검색을 개선하기 위해 쿼리를 재구성합니다. - 🔙
  Step-back Prompting (스텝백 프롬프팅): 더 나은 문맥 검색을 위해 더 넓은 범위의 쿼리를 생성합니다. - 🧩
  Sub-query Decomposition (하위 쿼리 분해): 복잡한 쿼리를 더 단순한 하위 쿼리들로 분해합니다.

Hypothetical Questions (HyDE 방식) ❓

LangChain: Runnable Script

쿼리와 데이터 간의 정렬 (Alignment)을 개선하기 위해 가상의 질문을 생성합니다.

데이터 내의 관련 위치를 가리키는 가상의 질문을 생성하여, 쿼리와 데이터 간의 매칭을 강화합니다.

HyDE: Exploring Hypothetical Document Embeddings for AI Retrieval - 이 방법을 명확하게 설명하는 짧은 블로그 포스트.

Hypothetical Prompt Embeddings (HyPE) ❓🚀

LangChain: Runnable Script

HyPE (Hypothetical Prompt Embeddings)는 전통적인 RAG 검색을 개선한 방식으로,

**인덱싱 (Indexing) 단계에서 가상의 프롬프트를 미리 계산(Precompute)**하되, 그 자리에 청크 (Chunk)를 삽입합니다. 이는 검색을 질문-질문 매칭 (Question-question matching) 작업으로 변환합니다. 이를 통해 런타임 (Runtime) 시의 합성 답변 생성 필요성을 없애 추론 시간의 계산 오버헤드를 줄이는 동시에 검색 정렬 (Retrieval alignment)을 개선합니다.

• 📖
  Precomputed Questions (사전 계산된 질문): 문서 청크를 임베딩하는 대신, HyPE는 인덱싱 시점에 청크당 여러 개의 가상 쿼리를 생성합니다. - 🔍
  Question-Question Matching (질문-질문 매칭): 사용자 쿼리를 저장된 가상 질문들과 매칭하여 더 나은 검색 정렬을 유도합니다. - ⚡
  No Runtime Overhead (런타임 오버헤드 없음): HyDE와 달리, HyPE는 쿼리 시점에 LLM 호출을 필요로 하지 않아 검색이 더 빠르고 저렴합니다. - 📈
  Higher Precision & Recall (더 높은 정밀도 및 재현율): 검색 문맥 정밀도 (Context precision)를 최대 42%포인트, 주장 재현율 (Claim recall)을 최대 45%포인트까지 향상시킵니다.

Preprint: Hypothetical Prompt Embeddings (HyPE) - 방법론, 평가 및 벤치마크를 상세히 다룬 연구 논문.

Contextual chunk headers (CCH)는 문서 수준 및 섹션 수준의 문맥을 생성하고, 임베딩하기 전에 해당 청크 헤더를 청크 앞에 추가하는 방법입니다.

문서 및/또는 문서 섹션에 대한 문맥을 포함하는 청크 헤더(chunk header)를 생성하고, 이를 각 청크 앞에 추가하여 검색 정확도(retrieval accuracy)를 향상시키는 방법입니다.

dsRAG: 이 기술(및 몇 가지 다른 고급 RAG 기술)을 구현하는 오픈 소스 검색 엔진(open-source retrieval engine) -
Relevant Segment Extraction 🧩: 관련 세그먼트 추출 (RSE, Relevant Segment Extraction)은 주어진 쿼리(query)와 관련된 텍스트의 멀티 청크 세그먼트(multi-chunk segments)를 동적으로 구성하는 방법입니다.

가장 관련성이 높은 청크들을 분석하고 더 긴 멀티 청크 세그먼트를 식별하여 LLM에 더 완전한 문맥을 제공하는 검색 후처리(retrieval post-processing) 단계를 수행합니다.

문맥 강화 기술 (Context Enrichment Techniques) 📝

LangChain:LlamaIndex:Runnable Script

개별 문장을 임베딩하고 문맥을 인접한 문장으로 확장하여 검색 정확도를 향상시킵니다.

가장 관련성이 높은 문장을 검색하는 동시에 원문에서 해당 문장의 앞뒤 문장에도 접근합니다.

시맨틱 청킹 (Semantic Chunking) 🧠

LangChain:Runnable Script

고정된 크기가 아닌 의미론적 일관성(semantic coherence)을 기반으로 문서를 나눕니다.

NLP 기술을 사용하여 문서 내의 주제 경계(topic boundaries) 또는 일관된 섹션을 식별함으로써 더욱 의미 있는 검색 단위(retrieval units)를 생성합니다.

Semantic Chunking: Improving AI Information Retrieval - RAG 시스템에서 시맨틱 청킹의 이점과 구현을 탐구하는 종합적인 블로그 포스트.

• 문맥 압축 (Contextual Compression) 🗜️

LangChain:Runnable Script

쿼리와 관련된 콘텐츠를 보존하면서 검색된 정보를 압축합니다.

LLM을 사용하여 검색된 청크를 압축하거나 요약함으로써 쿼리와 관련된 핵심 정보를 보존합니다.

• 검색 향상을 위한 질문 생성을 통한 문서 증강 (Document Augmentation through Question Generation for Enhanced Retrieval)

LangChain:Runnable Script

이 구현은 벡터 데이터베이스 (Vector Database) 내에서 문서 검색 (Retrieval)을 개선하기 위해 추가적인 질문 생성 (Question Generation)을 활용하는 텍스트 증강 (Text Augmentation) 기술을 보여줍니다. 각 텍스트 조각 (Text Fragment)과 관련된 다양한 질문을 생성하고 통합함으로써, 시스템은 표준 검색 프로세스를 강화하며, 결과적으로 생성형 질의응답 (Generative Question Answering)의 컨텍스트 (Context)로 활용될 수 있는 관련 문서를 찾을 확률을 높입니다.

LLM을 사용하여 각 문서에 대해 질문할 수 있는 가능한 모든 질문으로 텍스트 데이터셋을 증강합니다.

Fusion Retrieval 🔗

LangChain:LlamaIndex:Runnable Script

서로 다른 검색 방법들을 결합하여 검색 결과 (Search Results)를 최적화합니다.

더욱 포괄적이고 정확한 검색을 위해 키워드 기반 검색 (Keyword-based Search)과 벡터 기반 검색 (Vector-based Search)을 결합합니다.

Intelligent Reranking 📈

검색된 결과의 관련성 순위 (Relevance Ranking)를 개선하기 위해 고급 점수 산정 메커니즘 (Scoring Mechanisms)을 적용합니다.

🧠 LLM 기반 점수 산정 (LLM-based Scoring): 언어 모델을 사용하여 검색된 각 청크 (Chunk)의 관련성을 점수화합니다.

• 🔀 교차 인코더 모델 (Cross-Encoder Models): 유사도 점수 산정을 위해 쿼리 (Query)와 검색된 문서를 함께 재인코딩 (Re-encode)합니다.
• 🏆 메타데이터 강화 순위 산정 (Metadata-enhanced Ranking): 더욱 미세한 순위 산정을 위해 점수 산정 프로세스에 메타데이터 (Metadata)를 통합합니다.

Relevance Revolution: How Re-ranking Transforms RAG Systems - RAG 시스템 성능 향상에 있어 리랭킹 (Re-ranking)의 힘을 탐구하는 종합 블로그 포스트.

Multi-faceted Filtering 🔍

검색된 결과의 품질을 정제하고 개선하기 위해 다양한 필터링 (Filtering) 기술을 적용합니다.

🏷️ 메타데이터 필터링 (Metadata Filtering): 날짜, 출처, 저자 또는 문서 유형과 같은 속성에 따라 필터를 적용합니다.

• 📊 유사도 임계값 (Similarity Thresholds): 가장 적절한 결과만을 유지하기 위해 관련성 점수에 대한 임계값을 설정합니다.

• 📄 콘텐츠 필터링 (Content Filtering): 특정 콘텐츠 기준이나 필수 키워드와 일치하지 않는 결과를 제거합니다.

• 🌈 다양성 필터링 (Diversity Filtering): 거의 중복되는 항목을 필터링하여 결과의 다양성을 보장합니다.

🏷️

Hierarchical Indices 🗂️

LangChain: Runnable Script

효율적인 정보 탐색 및 검색을 위한 다층 구조(multi-tiered) 시스템 구축.

문서 요약(summaries)과 상세 청크(detailed chunks)를 위한 2단계 시스템을 구현하며, 두 단계 모두 데이터 내의 동일한 위치를 가리키는 메타데이터(metadata)를 포함합니다.

Hierarchical Indices: RAG 시스템 강화 - RAG 시스템 성능을 향상시키는 계층적 인덱스(hierarchical indices)의 위력을 탐구하는 종합적인 블로그 포스트.

Dartboard Retrieval 🎯

검색 시 관련 정보 이득(Relevant Information Gain) 최적화

• 관련성(relevance)과 다양성(diversity)을 하나의 점수 함수(scoring function)로 결합하여 이를 직접 최적화합니다.

• 데이터베이스가 밀집(dense)되어 있을 때 일반적인 단순 RAG는 성능이 저하되는 반면, Dartboard Retrieval은 성능이 더 뛰어남을 보여주는 POC(Proof of Concept).

Multi-modal Retrieval 📽️

더 풍부한 응답을 위해 다양한 데이터 유형을 처리할 수 있도록 RAG 기능을 확장합니다.