이 가이드에서 우리가 구축한 것

이전 가이드에서는 RAG에서 클라우드 배포까지 진행했습니다. 이번 가이드에서는 해당 시스템을 프로덕션 (Production) 단계로 끌어올리는 데 필요한 모든 것을 체계적으로 구현했습니다.

evals/
  dataset.py          # 평가 데이터셋 (Evaluation dataset)
  eval_rag.py         # 문맥 재현율 (Context Recall) · 관련성 (Relevancy) · 충실도 (Faithfulness)
...

각 장의 핵심 설계 결정 사항

제2장: 평가 (Evals)

규칙 기반 (Context Recall, Answer Relevancy) 방식과 LLM-as-a-Judge (Faithfulness) 방식을 결합하여 속도, 비용, 그리고 커버리지 사이의 적절한 균형을 맞췄습니다.

제3장: 관측 가능성 (Observability) (Langfuse v4)

@observe() 데코레이터를 추가하는 것만으로 트레이스 (Traces) 기록을 시작할 수 있습니다. v4의 중요한 변경 사항은 load_dotenv()를 호출한 후에 get_client()를 호출해야 한다는 점입니다.

제4장: 보안 (Security)

심층 방어 (Defense in Depth)가 원칙입니다: 입력 검증 (Input validation) → 시스템 프롬프트 (System prompt) → 출력 검증 (Output validation) → 속도 제한 (Rate limiting) — 이 네 가지 보호 계층을 구성합니다.

제5장: MLOps / LLMOps

GitHub에 푸시할 때마다 평가 (Evals)가 자동으로 실행됩니다. 품질 임계값 (Overall ≥ 75%)을 충족할 때만 시스템이 Render로 자동 배포됩니다.

제6장: 미세 조정 (Fine-tuning) (LoRA)

매개변수(Parameters)의 단 0.09%(2.7B 중 2.6M)만 학습됩니다. CPU에서 2분 이내에 완료됩니다. 단 8개의 샘플만으로도 학습 경향을 보이지만, 실질적인 품질 향상을 위해서는 100개 이상의 샘플이 필요합니다.

제7장: 멀티 에이전트 (Multi-Agent)

**단일 책임 원칙 (Single responsibility principle)**이 핵심입니다. 검색 워커 (Search Worker), 품질 검사 워커 (Quality Check Worker), 그리고 오케스트레이터 (Orchestrator)가 각각 정확히 한 가지 일에만 집중할 때, 각 에이전트 (Agent)의 프롬프트가 단순하게 유지되며 LLM 출력 품질이 향상됩니다.

제8장: 거버넌스 (Governance)

우리의 RAG 시스템은 EU AI Act의 "제한적 위험 (Limited Risk) (챗봇)"에 해당합니다. 위험 점수: 0.18 (낮음). AI 공개 (Article 50) 및 감사 로깅 (Audit logging, Article 12)을 구현함으로써 컴플라이언스 (Compliance) 기반을 구축합니다.

전체 그림: 두 개의 가이드

[가이드 1: AI 아키텍트를 위한 RAG 구현 가이드]
기초 (Foundation) → RAG → 도구 사용 (Tool Use) → 에이전트 (Agents) → MCP → 배포 (Deployment)
"작동하는 시스템 구축하기"
...

AI 아키텍트의 업무는 단순히 "작동하는 무언가를 만드는 것"에 그치지 않습니다. 그것은 품질을 측정하고 (measure quality), 행동을 가시화하며 (make behavior visible), 공격으로부터 방어하고 (defend against attacks), 지속적으로 개선하며 (improve continuously), 여러 에이전트 (Agents)를 조율하고 (coordinate multiple Agents), 규정을 준수하는 (comply with regulations) 시스템을 설계하는 것입니다.

총 구현된 파일 수

단계 (Phase)	파일 수	주요 기술 (Key Technologies)
평가 (Evals)	2	LLM-as-a-Judge
...

참고 문헌 (References)

• 이전 가이드: AI 아키텍트를 위한 RAG 구현 가이드 (Previous guide: RAG Implementation Guide for AI Architects)
• Langfuse 공식 문서 (v4) (Langfuse Official Documentation (v4))
• Hugging Face PEFT
• EU AI Act 공식 텍스트 (EU AI Act Official Text)
• OWASP LLM Top 10
• Anthropic 멀티 에이전트 설계 가이드 (Anthropic Multi-Agent Design Guide)
• 소스 코드: github.com/qameqame/pgvector-tutorial