이 코스는 Decoding AI의 오픈 소스 시리즈의 일부로, LLM, RAG, 에이전트(agents) 및 LLMOps를 사용하여 프로덕션 준비가 된 GenAI 시스템을 구축하는 방법을 가르칩니다.

The Second Brain AI Assistant 코스는 LLMOps 및 ML 시스템 베스트 프랙티스(best practices)를 사용하여 고급 RAG 및 LLM 시스템을 구축하는 방법을 가르치는 6개의 모듈을 포함하고 있습니다. 여러분은 여러분의 Second Brain(노트, 리소스 및 저장소로 구성된 개인 지식 베이스)과 대화하는 엔드 투 엔드(end-to-end) AI 어시스턴트를 구축하는 방법을 배우게 될 것입니다.

이 코스를 마칠 때쯤, 여러분은 프로덕션 준비가 된 에이전틱(agentic) RAG 및 LLM 시스템을 처음부터 설계하고 구현할 수 있게 될 것입니다.

Tiago Forte가 제안한 개념인 Second Brain은 노트, 아이디어 및 리소스로 구성된 여러분의 개인 지식 베이스입니다. 우리의 AI 어시스턴트는 이 지식을 활용하여 질문에 답하고, 문서를 요약하며, 통찰력을 제공합니다.

노트를 수동으로 검색할 필요 없이, 여러분의 연구 내용을 바탕으로 AI 어시스턴트에게 에이전트 코스를 추천하거나, 최고의 PDF 파싱 도구 목록을 나열하거나, LLM 최적화 방법을 요약해 달라고 요청하는 모습을 상상해 보세요.

이 코스에서는 Notion을 사용하지만, 코드는 Google Drive나 Calendar와 같은 다른 소스에도 적응할 수 있습니다. 우리는 GenAI, LLMs, RAG, MLOps 등을 다루는 Notion 기반의 큐레이션된 AI/ML 리소스 목록을 제공할 것입니다. Notion 계정은 필요하지 않습니다 - 하지만 여러분의 계정을 사용하고 싶다면, 우리의 유연한 파이프라인(pipeline)이 모든 Notion 데이터베이스를 지원합니다.

|
|

• Second Brain을 기반으로 하는 에이전틱(agentic) RAG 시스템 구축
• 프로덕션 준비가 된 LLM 아키텍처 설계
• LLMOps 및 소프트웨어 엔지니어링 베스트 프랙티스 적용
• LLM 미세 조정(Fine-tune) 및 배포
• 산업 도구 사용: OpenAI, Hugging Face, MongoDB, ZenML, Opik, Comet, Unsloth 등

이 코스를 완료하면 아래 영상에서 볼 수 있는 것과 같은 여러분만의 Second Brain AI 어시스턴트를 사용할 수 있게 됩니다:

second_brain_ai_assistant_example.mp4

|
|

Second Brain AI 어시스턴트를 구축하면서, 여러분은 다음을 숙달하게 됩니다:

• LLM 시스템 아키텍처 (LLM system architecture, FTI) 및 MLOps 베스트 프랙티스
• ZenML을 활용한 파이프라인 오케스트레이션 (Pipeline orchestration) 및 트래킹
• Opik을 사용한 LLMOps 및 RAG 평가
• 대규모 웹 크롤링 (Web crawling) 및 콘텐츠 정규화 (Content normalization)
• LLM 및 휴리스틱 (Heuristics)을 활용한 품질 점수 산정 (Quality scoring)
• 증류 (Distillation)를 통한 데이터셋 생성
• Unsloth 및 Comet을 활용한 Llama 모델 미세 조정 (Fine-tuning)
• Hugging Face로의 서버리스 모델 배포 (Serverless model deployment)
• 컨텍스트 또는 부모 검색 (Contextual or parent retrieval) 및 벡터 검색 (Vector search)을 활용한 고급 RAG
• smolagents를 사용한 에이전트 구축
• 현대적인 Python 툴링 (uv, ruff)

🥷 이러한 기술을 통해, 여러분은 LLMOps 및 ML 시스템 베스트 프랙티스를 사용하여 고급 에이전트형 RAG 및 LLM 시스템을 구축하는 닌자가 될 것입니다.

|
|

LLM/RAG 애플리케이션 및 시스템을 설계하고 구축하는 방법을 배우고 싶은 분들.

이 코스는 직접 만들며 배우는 분들에게 맞춰져 있습니다. 코스를 마친 후에는 자신만의 코드 템플릿과 개인용 생성형 AI (GenAI) 애플리케이션을 개발할 수 있는 충분한 영감을 얻게 될 것입니다.

대상 (Target Audience)	참여 이유 (Why Join?)
ML/AI 엔지니어	프로덕션 수준의 에이전트형 RAG 및 LLM 시스템 구축 (노트북 튜토리얼 그 이상).
...
카테고리 (Category)	요구 사항 (Requirements)
---	---
기술 (Skills)

• Python (중급) - 머신러닝 (Machine Learning), LLM, RAG (초급) |
  | 하드웨어 (Hardware) |
  현대적인 노트북/PC (GPU 선택 사항 - 클라우드 대안 제공) |
  | 레벨 (Level) |
  중급 (하지만 약간의 땀과 인내심만 있다면 누구나 할 수 있습니다) |

이 코스는 오픈 소스이며 무료입니다! 코드를 직접 실행할 경우 도구 사용을 위해 $1~$5 정도만 필요합니다:

서비스	최대 비용
OpenAI API	~$3
Hugging Face 전용 엔드포인트 (선택 사항)	~$2

가장 좋은 점은 무엇일까요? 저희는 여러 경로를 제공합니다. 비용 효율적인 옵션을 선택하면 단 ~$1로 전체 코스를 완료할 수 있습니다. 읽기 전용인가요? 모든 것은 무료입니다!

오픈 소스 코스이므로 별도로 등록할 필요가 없습니다. 모든 과정은 자기 주도적이며 무료이며, 다음에서 리소스를 자유롭게 이용할 수 있습니다:

코드: 이 GitHub 저장소
레슨: Decoding AI

이 오픈 소스 코스(open-source course)는 이론, 시스템 설계(system design), 그리고 실습 구현(hands-on implementation)을 다루는 6개의 포괄적인 모듈로 구성되어 있습니다.

각 모듈에서 무엇을 배우게 될지 빠르게 살펴보고 싶다면 이 내용을 읽어보세요.

이 코스를 최대한 활용하기 위한 권장 사항:

• 저장소(repository)를 클론(Clone)하세요.
• 자료를 읽으세요.
• 코드를 설정하고 실행하여 우리의 결과물을 재현해 보세요.
• 구현 세부 사항을 이해하기 위해 코드를 더 깊이 파고드세요.

모듈	자료	설명	코드 실행
0	모듈 개요 (Modules Overview)	각 모듈에서 무엇을 배우게 될지에 대한 빠른 개요.	코드 없음
1	당신만의 Second Brain AI 어시스턴트 구축	당신의 Second Brain을 위한 AI 어시스턴트를 설계합니다.	코드 없음
2	AI 어시스턴트를 위한 데이터 파이프라인 (Data pipelines)	커스텀 Notion 데이터를 처리하고, 문서를 크롤링하며, LLM 및 휴리스틱(heuristics)을 사용하여 품질 점수를 계산하고, 이를 문서 데이터베이스에 수집하는 데이터 ETL 파이프라인을 구축합니다.	apps/second-brain-offline
3	노이즈가 있는 문서에서 파인튜닝(fine-tuning) 데이터셋으로	Notion 및 크롤링된 데이터를 사용하여 증류(distillation)를 통해 고품질의 요약 지시(summarization instruct) 데이터셋을 생성합니다.	apps/second-brain-offline
4	LLM을 파인튜닝하고 배포하기 위한 플레이북 (Playbook)	문서 요약에 특화되도록 오픈 소스 LLM (Llama 3.1 8B)을 파인튜닝합니다. 이를 실시간 API 엔드포인트(endpoint)로 배포합니다.	apps/second-brain-offline
5	실제로 작동하는 RAG 파이프라인 구축	컨텍스트 및 부모 검색(context and parent retrieval)과 같은 고급 기술을 사용하여 모듈형 RAG 기능 파이프라인을 구현합니다.	apps/second-brain-offline
6	프로덕션 에이전틱 RAG를 위한 LLMOps	RAG 에이전틱 추론(agentic inference) 파이프라인과 AI 어시스턴트의 성능을 모니터링하고 평가하기 위한 관측(observation) 파이프라인을 구현합니다.	apps/second-brain-online

|
|

Second Brain AI 어시스턴트를 구축하는 동안, 우리는 두 개의 별도 Python 애플리케이션을 구축할 것입니다:

.
├── apps /
| ├── infrastructure/ # 애플리케이션을 위한 Docker 인프라
...

우리는 GenAI, LLMs, RAG, MLOps, LLMOps 및 정보 검색 (Information Retrieval)과 같은 AI 및 ML에 관한, 약 100페이지와 500개 이상의 링크를 포함하는 필터링된 개인 리소스 목록(Notion에 보관)을 사용할 것이며, Second Brain AI 어시스턴트에서 이를 크롤링하고 접근할 것입니다.

사용 편의를 위해, 우리는 Notion 데이터의 스냅샷을 공개 S3 버킷에 저장해 두었으며, AWS 자격 증명 없이도 무료로 다운로드할 수 있습니다.

따라서, 이 코스를 완료하기 위해 Notion을 사용하거나 Notion에 대한 접근 권한을 제공할 필요는 없습니다. 하지만 원한다면, 이 GitHub 리포지토리에서 제공하는 것처럼 어떤 Notion 데이터베이스라도 로드할 수 있는 유연한 파이프라인을 사용할 수 있습니다.

각 애플리케이션의 문서에서 상세한 설정 지침을 확인하세요:

애플리케이션	문서
Offline ML Pipelines (데이터 파이프라인, RAG, 파인튜닝 등)	apps/second-brain-offline
Online Inference Pipeline (Second Brain AI 어시스턴트)	apps/second-brain-online

프로 팁 (Pro tip): 여러분이 구축하게 될 시스템을 더 잘 이해하려면 관련 기사들을 먼저 읽어보세요.

질문이 있거나 문제에 직면하셨나요? 저희가 도와드리겠습니다!

다음과 같은 경우 GitHub issue를 열어주세요:

• 코스 자료에 대한 질문
• 기술적 문제 해결 (Troubleshooting)
• 개념에 대한 명확한 설명 요청

오픈 소스 코스이므로, 발생하는 모든 버그를 수정하지 못할 수도 있습니다.

만약 버그를 발견하고 수정 방법을 알고 있다면, 버그 수정을 통해 이 코스에 기여함으로써 미래의 독자들을 지원해 주세요.

다음과 같은 방법으로 언제든지 기여할 수 있습니다:

• 리포지토리 포크 (Forking)
• 버그 수정
• 풀 리퀘스트 (Pull Request) 생성

AI 커뮤니티와 미래의 독자들을 위한 여러분의 지원에 깊은 감사를 드립니다 🤗

Paul Iusztin AI/ML Engineer
|
Ernesto Larios AI Engineer
|
Anca Ioana Muscalagiu SWE/ML Engineer
|

이 프로젝트는 MIT License 라이선스 하에 배포됩니다 - 자세한 내용은 LICENSE 파일을 참조하세요.

|