서론
AI를 '사용할 수 있는 것'과 AI를 '만들 수 있는 것' 사이에는 차이가 있습니다.
ChatGPT의 API를 호출하거나 Python으로 머신러닝 라이브러리를 구동하는 것은 더 이상 그렇게 어렵지 않습니다. 하지만 신경망(Neural Network)이 왜 학습할 수 있는지, Transformer가 어떻게 문장을 처리하는지, 이미지 생성 AI는 왜 노이즈로부터 이미지를 생성할 수 있는지 설명하기 위해서는 수학과 알고리즘에 대한 이해가 필요합니다.
여기서 도움이 되는 것이 사이토 요시카즈(斎藤康毅) 씨의 『제로에서 만드는 딥러닝』 시리즈입니다. 2026년에는 제6권인 LLM 편이 출간되어 총 6권으로 구성되었습니다.
이 시리즈의 가장 큰 특징은 AI의 작동 원리를 학습할 뿐만 아니라, Python을 사용하여 알고리즘을 직접 구현한다는 점에 있습니다.
본 기사에서는 전 6권을 학습했을 때 구체적으로 무엇을 할 수 있게 되는지 정리합니다. 특히 다음 세 가지를 중점적으로 다룹니다.
- 어떤 수학과 알고리즘을 습득할 수 있는지
- Python으로 어떤 AI를 직접 만들 수 있는지
- 습득한 기술을 실무에서 어떻게 응용할 수 있는지
참고로, 책에서 실제로 구현하는 내용과 추가 학습을 통해 구현 가능한 응용 사례는 구분하여 소개합니다.
제1권: 신경망 (Neural Network)
이미지를 인식하고 분류하는 AI를 만들 수 있게 됩니다. 주요 학습 내용은 다음과 같습니다.
- 퍼셉트론(Perceptron)
- 신경망(Neural Network)
- 활성화 함수(Activation Function)
- 손실 함수(Loss Function)
- 경사 하강법(Gradient Descent)
- 오차 역전파법(Backpropagation)
- CNN
- 최적화 알고리즘(Optimization Algorithm)
제2권: 자연어 처리 (Natural Language Processing)
단어를 수치화하고 문장을 생성하는 AI를 만들 수 있게 됩니다.
- word2vec
- 단어의 벡터 표현
- 코사인 유사도(Cosine Similarity)
- RNN
- LSTM
- GRU
- seq2seq
- Attention
제3권: 딥러닝 프레임워크 (Deep Learning Framework)
PyTorch와 같은 소규모 계산 프레임워크를 직접 만들 수 있게 됩니다.
- 계산 그래프(Computational Graph)
- 자동 미분(Automatic Differentiation)
- 고차 미분(Higher-order Derivative)
- 오차 역전파(Backpropagation)
- 테일러 전개(Taylor Expansion)
- 뉴턴 방법(Newton's Method)
- 텐서 연산(Tensor Operation)
- 최적화 알고리즘
제4권: 강화 학습 (Reinforcement Learning, RL)
시행착오를 통해 최적의 행동을 학습하는 AI를 만들 수 있게 됩니다.
- 밴딧 문제(Bandit Problem)
- 마르코프 결정 과정(Markov Decision Process, MDP)
- 벨만 방정식(Bellman Equation)
- 동적 계획법(Dynamic Programming)
- 몬테카를로 방법(Monte Carlo Method)
- TD 학습
- Q 학습
- DQN
- 정책 경사법(Policy Gradient)
- Actor-Critic
제5권: 생성 모델 (Generative Model)
노이즈로부터 새로운 이미지를 생성하는 AI를 만들 수 있게 됩니다.
- 정규 분포(Normal Distribution)
- 최대 우도 추정(Maximum Likelihood Estimation)
- 혼합 가우시안 모델(Mixture Gaussian Model)
- EM 알고리즘
- KL 다이버전스(Kullback–Leibler Divergence)
- VAE
- 확산 모델(Diffusion Model)
- U-Net
- 조건부 이미지 생성(Conditional Image Generation)
제6권: 대규모 언어 모델 (Large Language Model, LLM)
Transformer를 구현하고 소규모 LLM을 학습시킬 수 있게 됩니다.
- BPE 토크나이저(Tokenizer)
- 임베딩(Embedding)
- Self-Attention
- Multi-Head Attention
- Transformer
- GPT
- 사전 학습(Pre-training)
- SFT
- GRPO
- DPO
- RoPE
- KV 캐시(Key-Value Cache)
여기서 각 권을 자세히 설명합니다.
2.1 신경망을 직접 만들 수 있다
신경망의 기본 계산은 가중치 합과 활성화 함수로 표현할 수 있습니다.
$$y=f(wx+b)$$
여기서,
- x: 입력
- w: 가중치
- b: 편향(Bias)
- f: 활성화 함수
- y: 출력
이 됩니다.
제1권에서는 이러한 연산을 조합하여 신경망을 구현합니다. 나아가 예측값과 정답의 차이를 나타내는 손실 함수를 정의하고, 경사 하강법(Gradient Descent)에 의해 가중치를 업데이트합니다.
$$w_{ ext{new}} = w_{ ext{old}} - rac{ ext{학습률}( ext{learning rate}) imes rac{ ext{손실}(L)}{ ext{가중치}(w)} ext{의 편미분}}{ ext{가중치}(w)}$$
이 공식을 Python으로 구현함으로써 AI가 학습하는 원리를 이해할 수 있습니다.
2.2 습득할 수 있는 기술
- AND, OR, NAND, XOR 논리 연산을 재현하기
- 시그모이드 함수(Sigmoid Function)를 구현하기
- ReLU 함수(Rectified Linear Unit)를 구현하기
- Softmax 함수를 구현하기
- 손실 함수를 계산하기
- 수치 미분(Numerical Differentiation)을 구현하기
- 경사 하강법(Gradient Descent)을 구현하기
- 오차 역전파법(Backpropagation)을 구현하기
- CNN을 구현하기
- Dropout으로 과적합(Overfitting)을 억제하기
- Adam과 같은 최적화 알고리즘을 이용하기
2.3 실제로 만들 수 있는 것
대표적인 예로는 MNIST를 활용한 손글씨 숫자 인식 AI가 있습니다.
이미지를 입력하면 0부터 9까지의 숫자 중 어떤 것에 해당하는지 예측합니다.
또한, 학습률(learning rate)이나 신경망(neural network)의 구조를 변경하여 분류 정확도의 차이를 비교할 수 있다.
2.4 실무 적용 예시
- 전자 부품 외관 검사
- 불량품 이미지 분류
- 계측 데이터 기반 이상 판정
- 제품 품질 예측
- 전자 회로 성능 예측
- 센서 데이터 분류
다만, 실무용 외관 검사 시스템을 구축하기 위해서는 추가적인 학습 데이터나 모델 설계가 필요하다.
- 2권에서 할 수 있게 되는 것
3.1 문장을 숫자로 다룰 수 있다
컴퓨터가 문장을 처리하려면 단어를 숫자로 변환할 필요가 있다.
2권에서는 word2vec 등을 이용하여 단어를 벡터(vector)로 변환한다.
예를 들어, 단어 A와 단어 B를 각각 벡터 a, b로 표현하면 코사인 유사도(cosine similarity)를 통해 근접도를 계산할 수 있다.
$$ ext{similarity}(\mathbf{a},\mathbf{b}) = \frac{\mathbf{a}\cdot\mathbf{b}}{|\mathbf{a}||\mathbf{b}|} $$
이는 단어들 간의 의미적 관계를 수학적으로 비교하기 위한 기초가 된다.
3.2 습득할 수 있는 기술
- 동시 발생 행렬(Co-occurrence matrix) 만들기
- 단어 벡터 학습하기
- CBOW 구현하기
- Skip-gram 구현하기
- Negative Sampling 이용하기
- 단어 유사도 계산하기
- RNN 구현하기
- LSTM 구현하기
- GRU의 원리 이해하기
- seq2seq 구현하기
- Attention 구현하기
3.3 시계열 데이터 처리 가능
RNN에서는 과거 정보를 활용하여 현재 상태를 계산한다.
$$ h_t = \tanh(W_{xx}x_t + W_{hh}h_{t-1} + b) $$
이러한 메커니즘을 통해 문장뿐만 아니라 시계열 데이터도 다룰 수 있다.
3.4 실제로 만들 수 있는 것들
- 단어 유사도를 계산하는 프로그램
- word2vec 기반의 단어 벡터
- RNN을 이용한 문장 생성
- seq2seq를 이용한 덧셈 학습
- Attention이 적용된 seq2seq를 이용한 날짜 형식 변환
3.5 실무 적용 예시
- 기술 문서 분류
- 고장 보고서 유사 문장 검색
- 문의 문장 분류
- 센서 데이터 시계열 예측
- 설비 상태 변화 예측
- 과거 측정값을 활용한 미래 예측
현재 LLM(Large Language Model)에서는 Transformer가 주류이지만, RNN이나 LSTM을 학습하는 것은 순차적 데이터 처리(sequential data processing)를 이해한다는 가치가 있다.
- 3권에서 할 수 있게 되는 것
4.1 자동 미분 엔진 만들기
3권의 가장 큰 특징은 자동 미분(automatic differentiation)을 구현하는 것이다.
예를 들어, 다음 함수를 생각해 보자.
$$ y = \sin(x^2) $$
합성 함수의 미분을 사용하면,
$$ \frac{dy}{dx} = 2x\cos(x^2) $$
이 된다.
통상적으로는 사람이 직접 미분하지만, 자동 미분에서는 계산 그래프(computational graph)를 사용하여 미분 값을 자동으로 구한다. PyTorch와 같은 프레임워크가 내부적으로 수행하는 계산의 기본 원리를 이해할 수 있다.
4.2 습득할 수 있는 기술
- 계산 그래프 구축하기
- 합성 함수 자동 미분하기
- 오차 역전파(Backpropagation) 자동화하기
- 2계 도함수 계산하기
- 고계 도함수 계산하기
- 테일러 전개 다루기
- 뉴턴 방법 구현하기
- 텐서 연산 구현하기
- 신경망 레이어 구현하기
- 최적화 알고리즘 구현하기
- 학습된 모델 저장하기
4.3 실제로 만들 수 있는 것들
대표적인 결과물은 DeZero라는 소규모 딥러닝 프레임워크이다.
구체적으로는,
- 자동 미분 라이브러리
- 신경망용 연산 클래스
- 최적화 알고리즘
- CNN
- RNN
- 정현파 시계열 예측 모델
등을 구현할 수 있다.
4.4 실무 적용 예시
전자 회로나 기계 설계에서의 파라미터 최적화에 응용될 수 있다.
예를 들어, 설계 파라미터를 $x_1$, $x_2$, $x_3$라고 할 때, 성능 지표 L의 기울기(gradient)는 다음과 같다.
$$ \nabla L = \begin{bmatrix} \frac{\partial L}{\partial x_1} \ \frac{\partial L}{\partial x_2} \ \frac{\partial L}{\partial x_3} \end{bmatrix} $$
미분 가능한 모델이라면, 이 기울기를 이용하여 파라미터를 조정할 수 있다.
특히 수학의 미분이나 편미분이 실제 소프트웨어에서 어떻게 활용되는지 이해하고 싶은 사람에게 적합하다.
- 4권에서 할 수 있게 되는 것
5.1 AI를 통해 시행착오 경험하게 만들기
4권에서는 강화 학습(Reinforcement Learning, RL)을 다룬다.
강화학습 (RL)에서는 AI가 행동(Action)을 취하고, 그 결과로 얻게 되는 보상(Reward)을 이용해 학습합니다.
예를 들어, 게임 AI의 경우 어떤 행동을 선택해야 최종적으로 높은 보상을 얻을 수 있는지 학습할 수 있습니다.
5.2 습득 가능한 기술
- 밴딧 문제 (Bandit problem) 해결
- ε-greedy법 구현
- 마르코프 결정 과정 (MDP) 이해
- 벨만 방정식(Bellman Equation) 풀이
- 동적 계획법 (Dynamic Programming) 구현
- 몬테카를로 방법 (Monte Carlo method) 활용
- TD 학습 (Temporal Difference learning) 구현
- Q-러닝 (Q-learning) 구현
- DQN (Deep Q-Network) 구현
- 정책 경사법 (Policy Gradient) 구현
- Actor-Critic 구현
5.3 수식으로 무엇을 이해할 수 있는가
강화학습의 대표적인 공식이 벨만 방정식입니다.
최적 행동 가치 함수는 현재 보상과 미래의 보상을 모두 고려합니다.
$$
Q^(s,a) = ext{E} igg[ r + ext{γ} ext{max}_{a'}Q^(s',a') ig| s,a igg]
$$
여기서,
- s: 현재 상태 (Current state)
- a: 행동 (Action)
- r: 보상 (Reward)
- s': 다음 상태 (Next state)
- γ: 할인율 (Discount rate)
5.4 실제로 만들 수 있는 것들
- 밴딧 문제를 해결하는 AI
- 그리드 월드(Grid World)를 공략하는 AI
- Q-러닝 기반 에이전트
- DQN을 이용한 게임 AI
- 정책 경사법 기반 에이전트
5.5 실무 적용 예시
- 생산 스케줄 최적화
- 로봇 행동 계획 수립
- 설비 제어 파라미터 조정
- 재고 보충 의사 결정
- 물류 경로 선택
- 시뮬레이션 환경에서의 자동 제어
다만, 실제 설비를 강화학습으로 제어하기 위해서는 안전 제약 조건이나 물리 모델 검증이 필요합니다.
- 제5권에서 할 수 있게 되는 것들
6.1 이미지 생성 AI를 만들 수 있다
제5권에서는 확률 분포를 학습하고 새로운 데이터를 생성하는 기술을 배웁니다.
분류 AI는 입력된 데이터가 무엇인지 예측합니다. 반면, 생성 AI는 학습한 분포를 이용해 새로운 데이터를 만듭니다.
6.2 습득 가능한 기술
- 정규 분포 계산
- 최대 우도 추정 (Maximum Likelihood Estimation) 구현
- 다차원 정규 분포 처리
- 혼합 가우시안 모델 (Gaussian Mixture Model, GMM) 구현
- EM 알고리즘 (Expectation-Maximization Algorithm) 구현
- KL 발산 (Kullback-Leibler Divergence) 계산
- VAE (Variational Autoencoder) 구현
- 확산 모델 (Diffusion Model) 구현
- U-Net 구현
- 조건부 이미지 생성 이해
- Classifier-Free Guidance 활용
6.3 수식으로 무엇을 이해할 수 있는가
예를 들어, 정규 분포의 확률 밀도 함수는 다음과 같습니다.
$$ p(x) = rac{1}{\sqrt{2\pi\sigma^2}} \exp\left(-\frac{(x-\mu)^2}{2\sigma^2}\right) $$
이러한 확률 분포에 대한 지식은 생성 모델 이해로 이어집니다.
또한, 확산 모델의 대표적인 정식화에서는 원 데이터에 노이즈를 추가하는 과정을 다음과 같이 표현할 수 있습니다.
$$ x_t = ext{√}ar{\alpha}_t x_0 + \text{√}(1-\bar{\alpha}_t)\epsilon $$
생성 시에는 이 노이즈를 단계적으로 제거하는 모델을 이용합니다.
6.4 실제로 만들 수 있는 것들
- 정규 분포 기반 데이터 생성
- 혼합 가우시안 모델
- VAE를 이용한 이미지 생성
- 확산 모델을 이용한 이미지 생성
- U-Net을 이용한 노이즈 예측
- 조건부 생성 모델
6.5 실무 적용 예시
- 제조업 불량 이미지 합성
- 검사용 이미지 데이터 생성
- 노이즈 제거
- 이미지 복원
- 생성 모델을 이용한 이상 탐지
- 시뮬레이션용 데이터 생성
다만, 생성된 데이터가 현실의 물리 현상을 정확히 재현하고 있는지는 별도의 검증이 필요합니다.
- 제6권에서 할 수 있게 되는 것들
7.1 Transformer를 직접 만들 수 있다
제6권에서는 ChatGPT와 같은 대규모 언어 모델 (LLM)을 지탱하는 트랜스포머(Transformer)의 구조를 배웁니다.
중요한 것이 어텐션 (Attention)입니다.
$$ ext{Attention}(Q,K,V) = ext{softmax} \left( \frac{QK^T}{\sqrt{d_k}} \right) V $$
여기서,
- Q: Query
- K: Key
- V: Value
- d_k: Key 벡터의 차원 수
어텐션을 사용함으로써 토큰들 간의 관련성을 계산할 수 있습니다.
7.2 습득 가능한 기술
토크나이저 만들기
BPE 구현하기
임베딩(Embedding) 구현하기
Self-Attention 구현하기
Multi-Head Attention 구현하기
Transformer 구현하기
GPT 계열 언어 모델 만들기
사전 학습(Pre-training) 실행하기
SFT 실행하기
GRPO 활용하기
DPO 활용하기
RoPE 구현하기
KV 캐시(Cache) 구현하기
AdamW 활용하기
혼합 정밀도 학습 이해하기
7.3 언어 모델의 수학적 원리 이해하기
자기회귀형(self-regressive) 언어 모델은 이전 토큰들로부터 다음 토큰의 확률을 예측합니다.
$$
P(x_t\mid x_1,x_2,\ldots,x_{t-1})
$$
문장 전체의 확률은 다음과 같이 표현할 수 있습니다.
$$
P(x_1,\ldots,x_T) \prod_{t=1}^{T} P(x_t\mid x_1,\ldots,x_{t-1})
$$
제6권에서는 이러한 수식들을 실제 프로그램으로 구현합니다.
7.4 실제로 만들 수 있는 것들
제6권에서는 3가지 종류의 챗봇을 소재로 LLM(Large Language Model) 개발을 배웁니다.
CodeBot
코드를 소재로 한 소규모 언어 모델을 구축합니다.
- GPT 계열 모델 구현
- 사전 학습
- SFT
- GRPO
StoryBot
이야기 생성을 소재로, 보다 고도화된 모델 구조를 배웁니다.
- RoPE
- SwiGLU
- RMSNorm
- KV 캐시
- DPO
WebBot
웹 데이터를 소재로 하거나 대규모화와 관련된 기술을 배웁니다.
- Flash Attention
- GQA
- MoE
- 분산 학습
- 메모리 효율화
7.5 실무 적용 사례
- 소규모 독자 LLM 개발
- 특정 분야의 문장 생성 모델
- 기존 LLM 추가 학습
- SFT를 이용한 답변 형식 조정
- 사후 학습(Post-training)을 통한 모델 개선
- Transformer 구조 변경 및 성능 비교
다만, ChatGPT와 동등한 성능의 LLM을 처음부터 학습하려면 방대한 데이터와 계산 자원이 필요합니다.
또한, RAG, MCP, AI 에이전트 구현 및 운영은 별도로 학습해야 합니다.
- 전 6권에서 습득 가능한 수학적 지식
본 시리즈에 등장하는 주요 수학 개념들을 정리합니다.
미분・편미분
주로 제1권과 제3권에서 배웁니다.
습득할 수 있는 능력은 다음과 같습니다.
- 손실 함수 미분하기
- 신경망의 기울기(Gradient) 구하기
- 합성 함수 미분하기
- 오차 역전파(Backpropagation) 구현하기
- 자동 미분(Automatic Differentiation) 구현하기
- 2차 미분 계산하기
- 뉴턴 방법(Newton's Method) 구현하기
선형대수학
주로 제1권, 제2권, 제3권, 제6권에서 활용합니다.
- 벡터 연산
- 행렬 곱셈
- 전치 행렬
- 텐서(Tensor) 연산
- 내적(Inner Product)
- 코사인 유사도
- Attention의 행렬 계산
- 특이값 분해(Singular Value Decomposition)를 이용한 차원 축소
확률・통계학
주로 제4권, 제5권, 제6권에서 활용합니다.
- 확률 분포
- 기댓값(Expected Value)
- 정규 분포
- 다변량 정규 분포
- 최대 우도 추정(Maximum Likelihood Estimation, MLE)
- KL 발산(Kullback–Leibler Divergence)
- 확률적 행동 선택
- 확률 모델 학습
- 생성 모델
최적화
전 권에 걸쳐 중요합니다.
- 경사 하강법(Gradient Descent)
- SGD
- Momentum
- Adam
- AdamW
- 뉴턴 방법
- 정책 경사법(Policy Gradient)
수학을 중점적으로 학습하려면 제1권, 제3권, 제5권이 특히 중요합니다.
다만, 본 시리즈는 수학의 정리를 엄밀하게 증명하기 위한 교과서는 아닙니다.
수학적 수식을 AI 알고리즘에 연결하고 Python으로 구현하는 것에 초점이 맞춰져 있습니다.
- 실무에서 어떻게 도움이 되는가
제조업
관련 권은 제1권, 제3권, 제5권입니다.응용 예시로 다음과 같은 것들이 생각해 볼 수 있습니다.
- 제품 외관 분류
- 불량품 이미지 탐지
- 측정값을 이용한 품질 예측
- 불량품 이미지 합성
- 설계 파라미터 최적화
전자 회로 설계
관련 권은 제1권, 제3권입니다.
예를 들어, MOS 트랜지스터의 채널 폭 W, 채널 길이 L, 드레인 전류 ID로부터 회로 특성을 예측하는 모델을 생각해 볼 수 있습니다.
$$
\begin{bmatrix} A_v \ f_{\mathrm{BW}} \ \end{bmatrix} f(W,L,I_D)
$$
여기서,
- $A_v$: 전압 이득(Voltage Gain)
- $f_{\mathrm{BW}}$: 대역폭(Bandwidth)
- $W$: 채널 폭(Channel Width)
- $L$: 채널 길이(Channel Length)
- $I_D$: 드레인 전류(Drain Current)
입니다.
시뮬레이션 결과를 교사 데이터로 삼아 회로 특성을 근사하는 모델을 만드는 것이 가능합니다.
다만, 이 예측 모델이 물리 법칙을 완전히 이해하고 있는 것은 아니므로 설계 범위를 벗어난 예측에는 주의가 필요합니다.
측정 장비
관련 권은 제1권, 제2권, 제3권입니다.
- 센서 데이터 이상 분류
- 온도 변화 예측
- 진동 데이터 분석
- 장치 상태 예측
- 시계열 데이터 모델링
예를 들어, 과거 측정값으로부터 다음 측정값을 예측하는 모델을 생각해 봅시다.
$$
\hat{x}{t+1} = f(x_t, x{t-1}, \ldots, x_{t-n})
$$
제2권의 RNN이나 LSTM은 이러한 시계열 예측에 응용할 수 있습니다.
경마 AI
관련 권은 제1권, 제4권입니다.
- 과거 경주 성적을 바탕으로 승률 추정하기
- 특징량(Feature)을 활용하여 예측 모델 만들기
- 신경망(Neural Network) 학습시키기
- 의사 결정 알고리즘 연구하기
다만, 경마와 같은 표 형식 데이터에서는 LightGBM, XGBoost, CatBoost 역시 중요한 선택지가 됩니다.
또한, 이익을 목적으로 한다면 승률 예측뿐만 아니라 기대값(Expected Value)과 백테스트(Backtest)도 필요합니다.
- 6권 학습 후에도 별도의 학습이 필요한 부분
전체 6권을 완독하면 심층 학습(Deep Learning)의 주요 알고리즘을 폭넓게 이해할 수 있습니다. 하지만 기계 학습이나 AI 개발 실무 전반을 모두 아우르는 것은 아닙니다.
추가 학습이 필요한 대표적인 예시는 다음과 같습니다.
표 형식 데이터 기계 학습
- LightGBM
- XGBoost
- CatBoost
- 랜덤 포레스트 (Random Forest)
- 결정 트리 (Decision Tree)
- 로지스틱 회귀 (Logistic Regression)
데이터 분석 및 통계
- pandas
- SQL
- 데이터 전처리
- 가설 검정 (Hypothesis Testing)
- 신뢰 구간 (Confidence Interval)
- 시계열 분석 (Time Series Analysis)
- 교차 검증 (Cross-Validation)
- 백테스트 (Backtest)
AI 애플리케이션 개발
- RAG (Retrieval-Augmented Generation)
- MCP (Multi-Component Pipeline 등, 문맥상 추정되는 전문 용어)
- AI 에이전트 (AI Agent)
- 웹 API (Web API)
- FastAPI
- 데이터베이스 연동
- 모델 배포 (Model Deployment)
- 모델 모니터링 (Model Monitoring)
대규모 AI 개발
- GPU 최적화
- 분산 학습 (Distributed Learning)
- 대규모 데이터 처리
- MLOps (Machine Learning Operations)
- 보안 (Security)
- 추론 서버 운영 (Inference Server Operation)
즉, 전체 6권은 AI 알고리즘의 이해를 깊게 하는 교재이며, AI 애플리케이션 개발 전반을 습득하는 교재는 아닙니다.
- 목적별 추천 학습 순서
전체 6권을 반드시 순서대로 읽을 필요는 없습니다. 목적에 맞춰 읽을 권을 선택하는 것이 더 효율적입니다.
- AI의 기본 원리를 이해하고 싶다면
제1권 (신경망, 손실 함수(Loss Function), 경사 하강법(Gradient Descent), 역전파(Backpropagation) 학습)
- 미분 및 편미분을 깊이 이해하고 싶다면
제1권・제3권 (신경망 학습과 자동 미분(Automatic Differentiation) 이해)
- 자연어 처리(NLP)를 배우고 싶다면
제1권・제2권 (단어 벡터(Word Vector), RNN, LSTM, Attention 학습)
- PyTorch의 내부 구조를 이해하고 싶다면
제1권・제3권 (계산 그래프와 자동 미분 엔진 구현)
- 게임 AI나 강화학습(RL)을 배우고 싶다면
제1권・제4권 (벨만 방정식, Q-러닝(Q-Learning), DQN, 정책 경사법(Policy Gradient) 학습)
- 이미지 생성 AI를 만들고 싶다면
제1권・제5권 (VAE, 확산 모델(Diffusion Model), U-Net 학습)
- ChatGPT나 LLM의 작동 원리를 이해하고 싶다면
제1권・제6권 (필요에 따라 제2권도 학습. Transformer, GPT, 사전 학습(Pre-training), SFT, GRPO, DPO 구현)
- 수학 중심으로 배우고 싶다면
제1권・제3권・제5권 (미분, 편미분, 자동 미분, 확률 분포, 최적화에 중점을 두고 이해)
- 전 6권을 완독 시 도달할 수 있는 4가지 레벨
레벨 1: AI 원리를 설명할 수 있다
신경망, RNN, Transformer, 확산 모델, 강화학습의 작동 원리를 수식으로 설명할 수 있습니다.
레벨 2: 소규모 AI를 직접 제작할 수 있다
- 손글씨 숫자 인식 AI
- 단어 벡터 학습 프로그램
- 문장 생성 AI
- 자동 미분 엔진
- 강화학습 에이전트
- VAE
- 확산 모델
- Transformer
- 소규모 LLM
위와 같은 시스템을 Python으로 구현할 수 있는 지식이 몸에 배게 됩니다.
레벨 3: AI 알고리즘을 수정(개조)할 수 있다
예를 들어, 다음과 같은 실험이 가능합니다.
- 활성화 함수 변경하기
- 손실 함수 변경하기
- 학습률(Learning Rate) 변경하기
- 최적화 알고리즘 변경하기
- 신경망의 레이어 수 변경하기
- Attention 구조 변경하기
- 생성 모델의 파라미터 변경하기
변경 전후 성능을 비교하고, 학습 결과가 왜 변화했는지 고찰할 수 있습니다.
레벨 4: AI 논문을 재현하기 위한 기초를 다진다
새로운 AI 알고리즘의 수식을 읽고, Python으로 구현하며, 소규모 검증 실험을 수행하기 위한 기반이 마련됩니다. 다만, 최신 논문의 재현이나 대규모 AI 모델 학습에는 더욱 전문적인 지식과 계산 자원이 필요합니다.
**- 요약
‘제로에서 만드는 딥러닝’ 전 6권을 학습하면 AI의 내부 알고리즘을 수식으로 이해하고 Python으로 구현하는 능력을 습득할 수 있다.
각 권별 도달 목표를 정리한다.
제1권
신경망(Neural Network)을 직접 만들고 이미지를 분류할 수 있게 된다.
제2권
단어를 벡터로 변환하고 문장을 생성할 수 있게 된다.
제3권
자동 미분 엔진과 소규모 딥러닝 프레임워크를 직접 만들 수 있게 된다.
제4권
보상(Reward)을 이용하여 행동을 학습하는 AI를 만들 수 있게 된다.
제5권
확률 모델과 확산 모델(Diffusion Model)을 이용하여 이미지를 생성할 수 있게 된다.
제6권
Transformer를 구현하고 소규모 LLM을 학습시킬 수 있게 된다.
이 시리즈를 통해 얻을 수 있는 가장 큰 성과는 AI의 수학적 원리를 프로그램으로 변환하여 스스로 계산 결과를 검증할 수 있게 되는 것이다.
AI를 단순히 이용만 할 것이라면, 반드시 6권을 모두 읽을 필요는 없다.
하지만 AI 알고리즘을 이해하고 모델의 내부 구조를 변경하거나 새로운 기법을 검증해보고 싶다면 체계적으로 학습할 가치가 있다.
특히 엔지니어에게는 수학적 지식이 실제 AI 시스템에서 어떻게 사용되는지를 이해하는 좋은 기회가 될 것이다.
참고 문헌
- 사이토 코키 『제로에서 만드는 딥러닝』 오라이리 재팬, 2016년
- 사이토 코키 『제로에서 만드는 딥러닝 ❷ 자연어 처리 편』 오라이리 재팬, 2018년
- 사이토 코키 『제로에서 만드는 딥러닝 ❸ 프레임워크 편』 오라이리 재팬, 2020년
- 사이토 코키 『제로에서 만드는 딥러닝 ❹ 강화학습 편』 오라이리 재팬, 2022년
- 사이토 코키 『제로에서 만드는 딥러닝 ❺ 생성 모델 편』 오라이리 재팬, 2024년
- 사이토 코키 『제로에서 만드는 딥러닝 ❻ LLM 편』 오라이리 재팬, 2026년
공식 웹사이트・샘플 코드