AI 엔지니어 노트북

License: MIT

Open In Colab

GitHub stars

실제 면접에서 다루게 될 방식으로 응용 LLM 스택을 학습하세요:
프레임워크 없이, 무료 API를 사용하며, 프롬프팅부터 서비스(serving), 파인튜닝, 그리고 레드팀 벤치마킹까지 전 과정을 다룹니다.

AI 엔지니어 / 포워드 디플로이드 엔지니어 (FDE) 역량 세트를 위한 실행 가능한 Colab 노트북입니다. 프레임워크가 아닌 순수 API를 사용하여 파운데이션 모델(model APIs, RAG, evals, agents, adaptation, serving) 위에 작동하는 시스템을 구축합니다.

무엇이 다른가요

• 의도적으로 프레임워크를 사용하지 않음. 에이전트 루프, RAG, 평가(evals) 등을 처음부터 순수 API 호출로 작성하므로, LangChain/LlamaIndex가 실제로 무엇을 하는지 이해한 후 그들을 사용하는 방법을 알게 됩니다 (그리고 언제 사용하지 말아야 할지도 판단할 수 있습니다). 패턴은 지속적이지만, 래퍼(wrappers)는 휘발됩니다.
• 평가(Evals)가 핵심입니다.

이 자료는 Plan: Transitioning to Forward Deployed Engineer / AI Engineer의 실습 보조 자료로 제작되었습니다.
해당 계획은 무엇을 배우고 왜 배워야 하는지 설명하며, 이 노트북들이 바로 실습하는 공간입니다.

대상 독자

백엔드 또는 풀스택 엔지니어 중 AI 엔지니어, FDE(Forward Deployed Engineer), Applied AI, 또는 솔루션 엔지니어(AI) 역할을 목표로 하는 분들입니다. 직함은 다르지만 업무는 크게 유사합니다.
프로덕션 코드를 배포할 수 있으며, 그 위에 응용 모델 계층을 추가하고 싶은 분들에게 적합합니다.

학습 순서

위에서 아래로 순차적으로 진행하세요. 각 노트북은 독립적이며(자체 의존성 설치 및 Colab secrets에서 API 키 읽기), 마지막에는 실습 과제가 있습니다.

00 — 환경 설정 (Setup)

01 — 모델 API (Model APIs)

02 — 평가 (Evals I): 출력 측정

03 — RAG

04 — 평가 (Evals II): 차별화 요소

05 — 에이전트 (Agents)

06 — 모델 적응 (Adapting the model)

07 — 보안 (Security)

08 — 운영 (Operations)

09 — 서빙 및 추론 성능

무료 Groq API로는 다루기 어려운 주제(이러한 프레임워크들은 GPU가 필요함)의 경우,
해당 노트북은 개념 우선으로 가르치고 선택적 Colab-GPU 부록을 마련합니다. 이는 section-06 LoRA 부록과 동일한 패턴입니다.

10 — ML 시스템 설계 및 성능

11 — 고객 맞춤화(Customer craft) (FDE의 차별점)

12 — 사례 연구 및 최종 프로젝트 (Case Studies & Capstone)

여기서 배운 기술들이 프로젝트로 통합됩니다. 먼저 사례 연구(case study)(실제 시나리오를 처음부터 끝까지 구현하고 실행할 수 있는 것)를 진행한 후, 최종 프로젝트(capstone): 직접 구축하여 배포하는 레포지토리를 만듭니다. (섹션 개요.)

테이블

규칙 (Conventions)

• 프레임워크 없는 원시 모델 API. 패턴은 지속적이지만, 래퍼(wrappers)는 수시로 바뀝니다.
• RAG 및 평가 섹션 전반에 걸쳐 하나의 공유 코퍼스 (data/)를 사용하므로, 평가는 실제로 구축한 검색 기능을 측정합니다.
• 자체 포함형 노트북. 첫 번째 셀에서 설치하고, 두 번째 셀에서 from aien import setup; client, MODEL = setup()을 호출하여 Colab secrets(또는 로컬 env var)에서 키를 불러옵니다. 노트북 간에 숨겨진 상태가 없습니다. aien은 이 레포지토리의 작은 공유 설정 패키지로 (자격 증명 로딩을 변경할 한 곳), 첫 번째 셀에서 자동으로 설치됩니다.
• 모든 노트북은 연습 문제로 끝납니다. 다음으로 넘어가기 전에 반드시 풀어보세요.

설정 (Setup)

1. console.groq.com에서 무료 API 키를 받으세요. 신용카드 등록이 필요 없습니다.
2. Colab에서: 왼쪽 사이드바의 키 아이콘 → GROQ_API_KEY를 비밀(secret)로 추가하고, 노트북 접근을 켜세요.
3. 배지(badge)를 통해 아무 노트북이나 열고 위에서 아래로 실행하세요.

로컬에서 실행하는 경우: pip install -r requirements.txt && pip install -e .
(두 번째 명령어는 aien 설정 도우미를 설치합니다), export GROQ_API_KEY=..., Jupyter로 여세요.

관련 자료 (Related reading)

• Plan: FDE에서 AI 엔지니어로 전환하기 (AI Engineer)은 이 노트북들이 구현하는 로드맵입니다.
• 가이드: 포트폴리오에 넣을 실제 LLM 프로젝트 만들기 (Real LLM Project for Your Resume)는 최종 프로젝트의 요구 수준을 설정합니다.
• 워크스루: RAG 시스템 설계하기 (Designing a RAG System)는 섹션 03의 시스템 관리를 다룹니다.
• 워크스루: AI 에이전트 오케스트레이션 시스템 설계하기 (Designing an AI Agent Orchestration System)는 섹션 05의 시스템 관리를 다룹니다.