RAG 솔루션 설계 및 평가 (Azure-Samples)

이 저장소의 목적은 모범 사례를 따르는 RAG(Retrieval-Augmented Generation) 솔루션을 위한 권장 사항과 테스트 및 평가 도구 및 기술을 반영하는 것입니다.

이 문서는 이러한 유형의 솔루션에 대한 엔드투엔드 검토의 표준 구현 순서를 따르도록 섹션으로 나뉘어 있으며, 학습 목적으로 사용될 수 있는 AI 생성 문서 컬렉션을 만드는 선택적 섹션도 포함하고 있습니다.

RAG, 또는 Retrieval Augmented Generation은 정보 검색의 강력함과 생성형 AI 모델을 결합한 고급 AI 아키텍처입니다. 핵심 아이디어는 관련 문서를 모음이나 데이터 소스에서 정보를 검색하여 생성형 AI 모델의 출력을 향상시키는 것입니다. 이 접근 방식은 실제 세계 데이터에 근거함으로써 생성된 콘텐츠의 정확성과 관련성을 높여줍니다.

이 저장소 사용 방법

이 저장소는 생성형 AI 모델과 검색 엔진을 사용하여 Retrieval-Augmented Generation (RAG) 구현을 구축하기 위한 포괄적인 학습 자료로 설계되었습니다. 이러한 개념에 처음 접하는 사용자든 기술 향상을 원하는 사용자든, 필요에 따라 경험을 맞춤 설정할 수 있습니다. 특정 섹션에 깊이 파고들어 제공되는 특정 노트북과 가이드를 활용하여 특정 주제를 탐색할 수 있는 유연성을 가지고 있습니다. 이 접근 방식은 프로젝트에서 마주칠 수 있는 특정 문제나 질문을 해결하기 위해 저장소의 리소스를 활용할 수 있게 해줍니다.

대안적으로, RAG 구현에 대한 전체적인 이해를 목표로 한다면, 저장소의 내용을 순차적으로 따라갈 수 있습니다. 섹션을 순서대로 진행함으로써, 기초 개념부터 고급 기술까지 전체 프로세스에 대한 단계별 개요를 얻을 수 있습니다. 이 경로는 완전한 엔드투엔드(end-to-end) 검토를 원하는 사람들에게 이상적이며, RAG 시스템을 구축하고 최적화하는 방법에 대한 철저한 이해를 보장합니다. 어떤 접근 방식을 선택하든, 이 저장소는 이 첨단 분야에서 지식과 기술을 향상시키는 데 유용한 교육 도구 역할을 합니다.

주요 구성 요소:

• 검색(Retrieval): 시스템은 먼저 데이터베이스나 코퍼스에서 관련 문서를 검색하거나 데이터 청크를 가져옵니다. 이 저장소의 경우, Azure AI Search에 인덱싱된 문서 섹션을 검색합니다. 이 단계는 생성되는 응답이 선별된 정보에 의해 뒷받침되도록 보장합니다.
• 증강(Augmentation): 검색된 정보는 이후 생성형 모델의 입력값을 증강하는 데 사용됩니다. 이러한 증강은 맥락적으로 정확하고 유익한 응답을 생성하는 데 도움을 줍니다.
• 생성(Generation): 마지막으로, 생성형 AI 모델(이 경우 Azure Open AI GPT 모델)은 증강된 입력을 기반으로 응답이나 콘텐츠를 생성합니다.

Azure에서 RAG 작동 방식

이 구현에서는 Azure AI 서비스를 활용하여 RAG 시스템을 구축합니다. 이 저장소의 핵심 서비스는 다음과 같습니다:

Azure Open AI Service: 인간과 유사한 텍스트를 이해하고 생성할 수 있는 최첨단 생성형 모델을 제공합니다. 더 많은 정보: https://learn.microsoft.com/en-us/azure/ai-services/openai/
Azure AI Search: 대규모 코퍼스에서 관련 정보를 검색하는 데 도움을 주는 강력한 검색 서비스로, 생성형 모델이 가장 적절한 데이터에 접근할 수 있도록 보장합니다. 더 많은 정보: https://learn.microsoft.com/en-us/azure/search/

이 저장소는 구조화된 프로세스를 따르며, 엔드투엔드(end-to-end) 시스템을 구현하는 데 사용될 수도 있고, 테스트 및 평가와 같은 특정 구성 요소만을 기존 구현에 통합하는 용도로도 사용되도록 의도되었습니다.

다음 다이어그램은 이 솔루션의 성공적인 구현을 위해 고려해야 할 다양한 측면들을 포괄하는 참조 표준 프로세스를 나타냅니다: