LlamaIndex를 활용한 대화형 AI 구축하기

🚀 기술 브리핑: 이 튜토리얼은 Gate of AI의 Agentic Workflows (에이전트 워크플로우) 심층 분석 시리즈의 일부입니다. 전체 기술 분석, 대화형 코드 샌드박스 및 네이티브 아랍어 번역을 확인하려면 여기에서 원문 기사를 방문하세요.

<span>Tutorial (튜토리얼)</span>
<span>Intermediate (중급)</span>
<span>⏱ 20 min read (20분 읽기)</span>
...

LlamaIndex를 활용하여 OpenAI 및 Anthropic API 간에 프롬프트 (Prompt)를 동적으로 오케스트레이션 (Orchestrate)하고 라우팅 (Route)함으로써 지능형 대화형 AI 에이전트 (Agent)를 구축하는 방법을 배워보세요.

Prerequisites (사전 요구 사항)

• Python 3.10 이상
• OpenAI 및 Anthropic API 키
• Python 및 비동기 프로그래밍 (Asynchronous programming)에 대한 중급 지식

What We're Building (우리가 구축할 것)

이 튜토리얼에서는 LlamaIndex를 사용하여 에이전트형 (Agentic) 대화형 AI 컴패니언을 구축할 것입니다. 사용자 의도 (Intent)를 라우팅하기 위해 원시적인 하드코딩된 로직을 사용하는 대신, ReAct (Reasoning and Acting, 추론 및 행동) 에이전트 루프를 사용할 것입니다. 이 워크플로우를 통해 핵심 엔진은 사용자의 프롬프트를 평가하고, 작업을 OpenAI의 GPT-4o에 위임할지 또는 Anthropic의 Claude 3.5 Sonnet에 위임할지를 동적으로 선택할 수 있습니다.

Setup and Installation (설정 및 설치)

최신 버전의 LlamaIndex는 모듈식 (Modular)으로 구성되어 있습니다. 코어 프레임워크와 함께 특정 멀티 모델 제공자 통합 패키지를 설치해야 합니다.

pip install llama-index llama-index-llms-openai llama-index-llms-anthropic python-dotenv

다음으로, 환경 변수 (Environment variables)를 안전하게 구성하십시오. 프로젝트 루트 디렉토리에 .env 파일을 생성합니다:

  
  
...

Step 1: Initializing LLMs with LlamaIndex Abstractions (LlamaIndex 추상화를 통한 LLM 초기화)

먼저, 환경을 구성하고 공식 LlamaIndex 래퍼 (Wrappers)를 사용하여 언어 모델 (Language models)을 초기화합니다. 이를 통해 입력과 출력을 표준화합니다.

import os
import asyncio
...

Step 2: Defining Functional Agent Tools (기능적 에이전트 도구 정의)

에이전트가 이러한 모델들과 동적으로 상호작용할 수 있도록, 모델 호출(model invocations)을 LlamaIndex의 FunctionTool 구조 내에 래핑(wrap)합니다. 독스트링(docstrings)은 에이전트가 구조적 결정을 내리기 위해 읽는 프롬프트 힌트(prompt-hints) 역할을 합니다.

from llama_index.core.tools import FunctionTool

...

Step 3: ReAct 에이전트 생성 (Creating the ReAct Agent)

이제 커스텀 모델 도구들을 실행 레이아웃(execution layout)에 직접 전달하여 ReActAgent를 구축합니다. 우리는 GPT-4o를 중앙 엔진 코디네이터(central engine coordinator)로 사용할 것입니다.

from llama_index.core.agent import ReActAgent

...

⚠️ 아키텍처 주의사항: llama-index-llms-openai와 같은 별도의 패키지를 사용하고 있는지 확인하십시오. 레거시 글로벌 네임스페이스(legacy global namespace)에서 직접 임포트하면 구조적인 ModuleNotFoundError 충돌이 발생할 수 있습니다.

구현 테스트하기 (Testing Your Implementation)

LlamaIndex가 텍스트를 평가하고, 도구를 선택하며, 변수를 포맷팅하고, 응답을 깔끔하게 처리하는 과정을 확인하기 위해 다양한 작업(tasks)을 대상으로 쿼리를 실행해 보십시오.

async def main():
    # 이는 독스트링 힌트에 따라 Claude 도구를 트리거해야 합니다
...

다음에 구축할 것 (What to Build Next)

• 도구 실행 경로에 로컬 RAG 컨텍스트 윈도우(context windows)를 직접 공급할 수 있도록 VectorStoreIndex를 추가하십시오.
• 여러 앱 세션에 걸쳐 채팅 기록을 보존할 수 있도록 지속 가능한 데이터베이스 저장소(persistent database storage)를 통합하십시오.
• 견고한 FastAPI 프레임워크 백엔드를 통해 LlamaIndex 오케스트레이션 래퍼(orchestration wrapper)를 노출하십시오.