athina-ai/rag-cookbooks

이 저장소가 도움이 되었다면 별점(star)을 눌러주세요 ⭐️

고급 및 에이전트 기반의 Retrieval-Augmented Generation (RAG) 기술 종합 모음집에 오신 것을 환영합니다.

RAG는 신뢰할 수 있는 출처에서 적절한 정보를 찾아 유용한 답변으로 변환함으로써 정확도와 관련성을 향상시키는 인기 있는 방법입니다. 이 저장소는 명확한 구현과 설명을 통해 가장 효과적인 고급 및 에이전트 기반 RAG 기술들을 다룹니다.

이 저장소의 주요 목표는 고급 RAG 기술을 프로젝트에 사용하려는 연구원과 개발자에게 도움이 되는 자료를 제공하는 것입니다. 이러한 기술들을 처음부터 구축하는 것은 시간이 걸리며, 적절한 평가 방법을 찾는 것도 어려울 수 있습니다. 이 저장소는 즉시 사용할 수 있는 구현체와 이를 평가하는 방법에 대한 지침을 제공하여 과정을 단순화합니다.

참고

이 저장소는 기본적인 RAG에서 시작하여 고급 및 에이전트 기반 기술로 발전합니다. 또한 각 RAG 기술에 대한 연구 논문/참고 자료도 포함되어 있어 추가 독서를 할 수 있습니다.

대규모 언어 모델(LLM)은 고정된 데이터셋으로 훈련되므로, 개인적이거나 최신 정보를 처리하는 능력이 제한적입니다. 때로는 부정확하지만 그럴듯한 답변을 제공하는 '환각(hallucination)' 현상을 일으킬 수 있습니다. 파인튜닝(Fine-tuning)이 도움이 될 수는 있지만 비용이 많이 들고 새로운 데이터에 반복적으로 재훈련하기에는 이상적이지 않습니다. Retrieval-Augmented Generation (RAG) 프레임워크는 외부 문서를 사용하여 인컨텍스트 학습(in-context learning)을 통해 LLM의 응답을 개선함으로써 이 문제를 해결합니다. RAG는 LLM이 제공하는 정보가 맥락적으로 관련성이 있을 뿐만 아니라 정확하고 최신 상태임을 보장합니다.

RAG에는 네 가지 주요 구성 요소가 있습니다:

색인화(Indexing): 먼저, 문서(모든 형식)를 청크(chunk)로 분할하고, 이 청크들에 대한 임베딩(embedding)을 생성합니다. 그런 다음 이 임베딩들을 벡터 스토어(vector store)에 추가합니다.

Retriever (검색기): 그다음, 검색기(retriever)는 벡터 스토어(vector store)로부터 벡터 유사도(vector similarity)와 같은 기술을 사용하여 사용자의 질의(query)를 바탕으로 가장 관련성이 높은 문서들을 찾아냅니다.

Augment (증강): 그 후, 증강(Augment) 단계에서는 사용자의 질의를 검색된 컨텍스트(context)와 결합하여 프롬프트(prompt)를 생성하며, 이를 통해 LLM이 정확한 응답을 생성하는 데 필요한 정보를 갖추도록 보장합니다.

Generate (생성): 마지막으로, 결합된 질의와 프롬프트가 모델로 전달되며, 모델은 사용자의 질의에 대한 최종 응답을 생성합니다.

이러한 RAG의 구성 요소들은 모델이 최신의 정확한 정보에 접근하고 외부 지식을 바탕으로 응답을 생성할 수 있게 해줍니다. 하지만 RAG 시스템이 효과적으로 작동하는지 확인하기 위해서는 성능을 평가(evaluate)하는 것이 필수적입니다.

RAG 애플리케이션을 평가하는 것은 이러한 시스템이 얼마나 잘 작동하는지 이해하는 데 중요합니다. 정확도(accuracy)와 관련성(relevance)을 확인함으로써 정보 검색(information retrieval)과 생성 모델(generative models)이 얼마나 효과적으로 결합되었는지 확인할 수 있습니다. 이러한 평가는 텍스트 요약(text summarization), 챗봇(chatbots), 질의응답(question-answering)과 같은 작업에서 RAG 애플리케이션을 개선하는 데 도움이 됩니다. 또한 개선이 필요한 영역을 식별하여, 정보가 변하더라도 시스템이 신뢰할 수 있는 응답을 제공하도록 보장합니다. 전반적으로, 효과적인 평가는 성능을 최적화하고 실제 사용을 위한 RAG 애플리케이션에 대한 신뢰를 구축하는 데 도움을 줍니다. 이 노트북들에는 Athina AI에서의 엔드 투 엔드(end-to-end) RAG 구현 및 RAG 평가 부분이 포함되어 있습니다.

이 저장소에서 다루는 모든 Advanced RAG 기술의 상세 내용은 다음과 같습니다.

이 저장소에서 다루는 모든 Agentic RAG 기술의 상세 내용은 다음과 같습니다.

각 노트북이 어떻게 작동하는지에 대한 빠른 데모:

demo.mp4

먼저, 다음 명령어를 사용하여 이 저장소를 클론(clone)하세요:

git clone https://github.com/athina-ai/rag-cookbooks.git

다음으로, 프로젝트 디렉토리로 이동합니다:

cd rag-cookbooks

'rag-cookbooks' 디렉토리에 들어왔다면, 각 기술에 대한 상세 구현 과정을 따르십시오.

새로운 기술이나 개선 사항을 제안하고 싶다면, 커뮤니티의 기여를 환영합니다!

이 프로젝트는 MIT License 라이선스 하에 배포됩니다.