저의 "AI/ML 노트 다시 보기" 시리즈의 7부입니다. 지난 포스트는 다음과 같은 질문을 남기며 마무리되었습니다: 경사 하강법 (Gradient Descent)은 가중치 (Weight)에 대한 손실 (Loss)의 기울기가 필요하지만, 다층 네트워크 (Multilayer Network)에서는 대부분의 가중치가 손실과 직접 연결되어 있지 않습니다. 즉, 손실로부터 여러 레이어만큼 떨어져 있습니다. 이것이 바로 연쇄 법칙 (Chain Rule)이 해결하는 문제입니다.

문제: 가중치는 네트워크 내부에 파묻혀 있다

단일 뉴런 (Single-neuron) 예시에서는 dLoss/dw를 계산하는 것이 직접적입니다. 가중치가 출력으로 바로 이어지고, 출력이 손실로 바로 이어지기 때문입니다. 하지만 다층 네트워크 (Multilayer Network)에서는 초기 가중치가 간접적으로만 손실에 영향을 미칩니다. 가중치가 뉴런의 출력에 영향을 주고, 그 출력이 다음 레이어의 뉴런들에 영향을 주며, 이것이 결국 최종 출력에 영향을 미치고, 최종 출력이 손실을 결정하게 됩니다.

연쇄 법칙 (Chain Rule)이란 바로 이것입니다: 국소적 효과 (Local effects)들을 모두 곱하는 것

미적분학의 연쇄 법칙 (Chain Rule)에 따르면, 만약 w1이 a1에 영향을 주고, a1이 a2에 영향을 주며, a2가 손실에 영향을 준다면, w1이 손실에 미치는 전체 효과는 각 개별 단계의 효과를 곱한 것과 같습니다:

dLoss/dw1 = (dLoss/da2) x (da2/da1) x (da1/dw1)

우변의 각 항은 국소적 미분 (Local derivative)입니다. 이는 오직 직접 연결된 두 양(quantity)만을 포함하기 때문에 그 자체로 계산하기 쉽습니다. 연쇄 법칙 (Chain Rule)은 이러한 작고 국소적인 계산들을 하나로 엮어, 실제로 필요한 하나의 숫자, 즉 네트워크 깊숙이 파묻힌 이 특정 가중치가 최종 오차 (Error)에 대해 얼마나 책임을 지고 있는지를 알려주는 수치로 만들어 줍니다.

이것이 왜 "역전파 (Backpropagation)"의 실제 메커니즘인가

이것이 바로 그 명칭이 유래된 이유이기도 합니다. 입력 근처의 가중치(weight)에 대한 dLoss/dw1을 계산하려면, 먼저 dLoss/da2가 필요하며, 이는 다시 출력(output) 측으로부터 계산되어야 합니다. 따라서 계산은 자연스럽게 출력에서 입력 방향으로 **역방향 (backward)**으로 흐르며, 각 국소 미분 (local derivative)을 계산하고 진행 과정에서 이를 누적 곱 (running product)에 곱해 나갑니다. 레이어별로 진행되는 이러한 미분값의 역방향 흐름이 바로 역전파 (backpropagation)입니다.

이것이 중요한 이유

이러한 연쇄 곱셈 (chain-multiplication)은 우아하지만, 초기에 짚고 넘어갈 만한 실질적인 결과가 있습니다. 만약 각각의 개별적인 국소 미분 (local derivative) 값이 작다면, 이들을 여러 번 곱할 경우 결과값은 매우 빠르게 매우 작아집니다. 반대로 각각의 값이 크다면, 곱셈 결과는 그만큼 빠르게 폭발합니다. 이 단 하나의 관찰 결과가 딥러닝에서 가장 잘 알려진 두 가지 학습 문제인 기울기 소실 (vanishing gradients)과 기울기 폭발 (exploding gradients)의 근본 원인이며, 이는 본 시리즈의 다음 두 포스트에서 다룰 내용입니다.

Original Notes: