Telnyx AI Inference를 사용하여 간단한 RAG 앱 구축하기

RAG는 실제보다 더 복잡하게 들리는 패턴 중 하나입니다.

그 핵심인 검색 증강 생성 (Retrieval-Augmented Generation, RAG)은 단순히 다음과 같습니다:

1. 문서 저장
2. 사용자의 질문 임베딩 (Embedding)
3. 가장 관련 있는 문서 찾기
4. 해당 문서들을 컨텍스트 (Context)로 모델에 전송
5. 출처와 함께 답변 반환

저는 Telnyx AI Inference를 사용하여 이 흐름을 처음부터 끝까지 보여주는 작은 Python 예제를 만들었습니다.

Repo: https://github.com/team-telnyx/telnyx-code-examples/tree/main/build-rag-with-telnyx-inference-python

작동 방식

이 앱은 작은 인메모리 (in-memory) 지식 베이스를 대상으로 질문을 던질 수 있는 Flask API를 제공합니다.

다음과 같은 질문을 보낼 수 있습니다:

{ "question": "API 키를 교체한 후 운영 환경의 가입 기능이 중단되었습니다. 로그에 401 에러가 표시됩니다. 무엇을 가장 먼저 확인해야 합니까?" }

앱 구성 요소

• 질문에 대한 임베딩 (Embedding) 생성
• 샘플 문서의 임베딩과 비교
• 가장 관련 있는 출처 검색
• 해당 출처들을 채팅 모델 (Chat Model)로 전송
• 근거가 있는 답변과 출처 제목 반환

이 패턴이 유용한 이유

일반적인 LLM 호출은 프롬프트 (Prompt)에 있는 내용과 모델의 학습 데이터만을 알고 있습니다. RAG를 사용하면 여러분의 앱이 자체 문서, 정책, 제품 정보, 지원 노트 또는 내부 지식 베이스를 바탕으로 답변할 수 있게 합니다. 이는 다음과 같은 작업에 유용합니다:

• 지원 어시스턴트 (Support Assistants)
• 내부 문서 검색
• 온보딩 코파일럿 (Onboarding Copilots)
• 제품 Q&A
• 문제 해결 워크플로우
• 출처에 기반한 답변이 필요한 에이전트 도구

예제 작동 원리

이 예제는 의도적으로 구성 요소들을 작게 유지합니다.
인메모리 (in-memory) DOCUMENTS 리스트가 존재합니다. 첫 번째 요청 시, 앱은 해당 문서들에 대한 임베딩 (embeddings)을 생성하고 이를 캐싱 (cache)합니다. 사용자가 질문을 하면, 앱은 질문을 임베딩하고 이를 문서 임베딩과 비교하여 가장 잘 일치하는 내용을 모델에 전달합니다.
답변 응답에는 출처 제목이 포함되어 있어, 모델을 블랙박스 (black box)처럼 취급하는 대신 앱이 어떤 컨텍스트 (context)를 사용했는지 확인할 수 있습니다.

직접 해보기

저장소(repo)를 클론(clone)하세요:
git clone https://github.com/team-telnyx/telnyx-code-examples.git cd telnyx-code-examples/build-rag-with-telnyx-inference-python

의존성(dependencies)을 설치하고 앱을 실행하세요:
pip install -r requirements.txt cp .env.example .env python app.py

질문을 던져보세요:
curl -X POST http://localhost:5000/rag/ask \ -H "Content-Type: application/json" \ -d '{ "question": "Production signup broke after rotating an API key. Logs show 401 errors. What should we check first?" }'

이 예제가 마음에 드는 이유

의도적으로 작게 만들어졌지만, 실제 RAG 워크플로우 (workflow)의 핵심 요소들을 제공합니다:

• 임베딩 (embeddings)
• 검색 (retrieval)
• 출처 근거 제시 (source grounding)
• 채팅 완성 (chat completion)
• 깔끔한 API 인터페이스 (API surface)

여기에서 시작하여, 인메모리 문서를 벡터 데이터베이스 (vector database)로 교체하거나, 제품 문서에서 콘텐츠를 가져오거나, 지원 어시스턴트 (support assistant)로 발전시킬 수 있습니다.
Telnyx 코드 예제 저장소는 에이전트가 읽을 수 있도록 구조화되어 있어, 코딩 에이전트 (coding agents)가 이 예제들을 검토하고 더 완전한 애플리케이션으로 확장하는 것을 도울 수 있습니다.

리소스

코드 예제
스킬/툴킷이 포함된 Telnyx AI 저장소
Telnyx AI Inference 문서