코딩을 통해 이해하는 역전파 (Backpropagation)

역전파 (Backpropagation)는 모든 신경망 (Neural Network)을 학습시키는 알고리즘이며, 어렵다는 평판이 있습니다. 하지만 그렇지 않습니다. 이는 미적분학의 연쇄 법칙 (Chain Rule)을 일련의 연산 과정을 통해 역방향으로 적용한 것입니다. 이를 완벽하게 이해하는 가장 빠른 방법은 아주 작은 버전을 직접 코딩해 보는 것입니다.

하나의 아이디어

학습이란 손실 (Loss)을 줄이기 위해 가중치 (Weights)를 조정하는 것을 의미합니다. 가중치를 조정하려면 해당 가중치가 변할 때 손실이 어떻게 변하는지 알아야 하며, 이것이 바로 기울기 (Gradient)입니다. 역전파는 손실로부터 역방향으로 계산하여 모든 가중치의 기울기를 구하는 효율적인 방법일 뿐입니다.

순전파 (Forward pass): 데이터가 흘러 들어가 예측값과 손실이 나옵니다. 역전파 (Backward pass): 기울기가 손실로부터 모든 파라미터 (Parameter)로 역방향으로 흐릅니다.

연쇄 법칙 (Chain Rule), 구체적으로

만약 loss가 a에 의존하고, a가 w에 의존한다면, w에 따른 손실의 변화량은 국소적 변화량 (Local changes)의 곱과 같습니다:

d(loss)/d(w) = d(loss)/d(a) * d(a)/d(w)

이것이 핵심 비결입니다. 각 연산은 자신의 국소 미분값 (Local derivative)을 알고 있으며, 역전파는 손실에서 각 가중치로 돌아가는 경로를 따라 이 값들을 곱합니다.

작은 실습 버전

하나의 뉴런을 가정해 봅시다: z = w*x + b, 그다음 a = sigmoid(z), 그다음 a와 타겟 y를 비교하는 손실을 계산합니다. 역전파 과정은 다음 순서로 계산합니다:

# forward
z = w * x + b
a = 1 / (1 + math.exp(-z))
...

그다음 가중치를 기울기 방향으로 조금씩 조정하며 (w -= lr * grad_w) 과정을 반복합니다. 이를 하나의 뉴런에서 레이어 (Layer)로, 다시 네트워크 (Network)로 확장하면, 단지 더 많은 관리 작업이 추가될 뿐 프레임워크 (Framework)가 수행하는 것과 정확히 일치하게 됩니다.

코딩이 중요한 이유

역전파 과정을 직접 손으로 작성하고 나면, 딥러닝 (Deep Learning)의 많은 부분이 더 이상 신비롭게 느껴지지 않습니다. 왜 기울기 소실 (Vanishing gradients)이 발생하는지 (많은 작은 미분값들이 곱해지기 때문), 왜 활성화 함수 (Activation function)의 선택이 중요한지 (그 미분값이 모든 기울기의 인자가 되기 때문), 그리고 옵티마이저 (Optimizer)가 실제로 무엇을 하고 있는지 알게 됩니다. 프레임워크 코드를 읽을 때 맹목적으로 신뢰하는 대신 그 내부 기계 장치를 인식하게 될 것입니다.

전체 구현하기

전체 구현하기

AI 및 딥러닝 트랙은 단일 뉴런(single neuron)부터 직접 코드로 구현한 역전파 (backprop)를 거쳐 실제 네트워크를 학습시키는 과정까지 안내합니다. 모든 과정은 처음부터 직접 구축하며 브라우저에서 채점되며, 마지막에는 직접 역전파 (backpropagate)를 수행하는 작은 GPT를 만드는 것으로 마무리됩니다. 첫 번째 프로젝트는 무료입니다.

역전파 (backward pass)를 한 번만 코드로 구현해 본다면, 신경망 (neural networks)이 더 이상 마법처럼 보이지 않을 것입니다.