저의 "AI/ML 노트 다시 보기" 시리즈의 8번째 파트입니다. 지난 포스트는 하나의 경고로 끝났습니다. 연쇄 법칙(chain rule)이 수행하는 것처럼 여러 개의 작은 수들을 곱하면 결과값이 매우 빠르게 줄어든다는 점입니다. 이번 포스트는 이러한 수치 감소가 통제 불능 상태가 될 때 발생하는 현상인 기울기 소실 문제(vanishing gradient problem)에 대해 다룹니다.

수치 감소가 발생하는 원인

여기서 범인은 시그모이드(Sigmoid) 함수입니다. 시그모이드의 미분값 — 즉, 연쇄 법칙이 통과하는 모든 레이어에서 곱해지는 국소 기울기(local gradient) — 는 최대값이 정확히 0.25이며, 입력값이 매우 크거나 작을 경우 0에 가깝게 떨어집니다.

이제 심층 신경망(deep network) 전체에 연쇄 법칙을 적용해 보겠습니다. 만약 모든 레이어가 기껏해야 0.25의 국소 미분값을 기여한다면 (일반적으로 작은 가중치(weight) 값들까지 곱해지므로 실제로는 이보다 더 작은 경우가 많습니다), 입력 근처의 가중치에 도달하는 기울기는 레이어를 거듭할수록 이러한 작은 수들의 곱이 됩니다:

gradient_at_layer_1 ~= 0.25 x 0.25 x 0.25 x ... (레이어당 한 번씩)

이 곱셈 결과는 네트워크의 깊이가 깊어질수록 놀라울 정도로 빠르게 0을 향해 수렴합니다.

[PASTE DIAGRAM IMAGE HERE - SECOND HALF]

실질적인 결과

가중치 업데이트 규칙인 w_new = w_old - lr * gradient를 떠올려 보십시오. 만약 기울기가 초기 레이어에 도달할 때쯤 사실상 0이 된다면, 업데이트 또한 사실상 0이 됩니다. 즉, 아무리 많은 학습 반복(training iterations)을 수행하더라도 해당 가중치는 거의 변하지 않습니다. 입력에 가장 가까운 레이어들은 학습을 멈추게 되는 반면, 출력에 가장 가까운 레이어들은 비교적 정상적으로 계속 업데이트됩니다. 결과적으로 네트워크는 전체 용량의 상당 부분이 영구적으로 학습되지 않은 상태로 남게 됩니다.

이것은 심층 네트워크 (deep networks)에 있어 진정으로 심각한 문제입니다. 이는 역사적으로 시그모이드 (sigmoid) 기반의 매우 깊은 네트워크를 학습시키기 어려웠던 이유 중 하나이며, ReLU (이 시리즈의 앞부분에서 다룸)가 은닉층 (hidden layers)의 기본값 (default)이 된 결정적인 이유이기도 합니다. ReLU의 도함수 (derivative)는 0 또는 정확히 1이기 때문에, 양수 입력에 대해 시그모이드가 그러하듯 그래디언트 (gradient)를 축소시키지 않습니다.

이것이 중요한 이유

기울기 소실 (Vanishing gradients)은 신비로운 학습 불안정성이 아니라, 연쇄 법칙 (chain rule)과 시그모이드의 형태에서 비롯되는 직접적이고 기계적인 결과입니다. 이를 "1보다 작은 여러 숫자를 계속 곱하는 것"으로 이해하고 나면, 활성화 함수 (activation functions) 교체, 잔차 연결/스킵 연결 (residual/skip connections) 사용, 정규화 (normalization) 기술과 같은 몇 가지 표준적인 딥러닝 해결책들이 갑자기 타당하게 느껴질 것입니다. 이 모든 기술은 바로 이 곱셈의 결과가 0으로 붕괴되는 것을 막기 위해 존재합니다.

다음 단계: 반대의 실패 모드 — 동일한 곱셈의 연쇄가 축소되는 대신 오히려 커질 때 어떤 일이 발생하는지에 대해 알아봅니다.

Original Notes: