안녕하세요. 2026년 1월 G검정에 합격한, 문과 출신 엔지니어입니다.

G검정 공부를 하다가 「오차 역전파법 (Backpropagation)」이라는 단어가 나온 순간, 사고가 정지된 경험은 없으신가요? 저는 완전히 그랬습니다. "역전파...? 뭐가 역이라는 거지?"라며 이름만 보고 거부 반응이 일어났던 것을 기억합니다.

하지만 이곳은 뉴럴 네트워크 (Neural Network)가 「학습하는 메커니즘」 그 자체를 묻는 초중요 파트입니다. 메커니즘의 스토리만 파악하면, 수식을 읽지 못해도 시험 문제는 풀 수 있습니다. 이 기사에서는 문과인 제가 "아하!" 하고 납득했던 순서대로, 순전파 · 오차 역전파법 · 경사 소실 문제의 흐름을 정리합니다.

※ 이 기사는 JDLA 공식 자료가 아닙니다. 개인의 학습 경험에 기반한 내용입니다.

어렵게 생각하기 쉽지만, 뉴럴 네트워크의 학습은 요컨대 테스트 복습과 같습니다.

• 문제를 풀기 (순전파 (Forward Propagation))
• 정답을 확인하고, 얼마나 틀렸는지 측정하기 (손실 계산 (Loss Calculation))
• 틀린 원인을 거슬러 올라가며, 사고방식을 수정하기 (오차 역전파법 (Backpropagation))
• 수정한 상태로 다시 풀기 (반복)

이 4단계를 끊임없이 반복하며 조금씩 똑똑해지는 것. 이것이 뉴럴 네트워크 학습의 정체입니다. 우선 이 이미지를 가지면, 개별 용어들이 "그 공정의 내용이구나" 하고 연결됩니다.

순전파는 입력에서 출력으로 향해 앞에서 뒤로 데이터를 흘려보내는 계산입니다.

입력(이미지나 수치) → 각 층에서 「가중치 (Weight)」를 곱해 더함 → 활성화 함수 (Activation Function)로 변환 → 다음 층으로……를 반복하여, 최종적으로 예측(출력)을 냅니다. "고양이 이미지를 넣었더니, 고양이일 확률 0.7"과 같이 답을 내는 공정이죠.

여기서 등장하는 「가중치 (Parameter)」가 네트워크의 똑똑함의 정체입니다. 학습이란, 이 가중치를 최적의 값으로 조정해 나가는 작업에 다름 아닙니다.

순전파로 낸 예측이 정답과 얼마나 차이가 나는지를 **손실 함수 (Loss Function)**로 수치화합니다 (회귀라면 제곱 오차, 분류라면 교차 엔트로피가 전형적입니다).

이 손실이 클수록 "아직 많이 틀렸다", 작을수록 "정답에 가깝다". 학습의 목표는 이 손실을 가능한 한 작게 만드는 것입니다.

여기가 핵심입니다. 오차 역전파법이란, 출력층에서 계산한 오차(손실)를 출력 측에서 입력 측으로 역방향으로 거슬러 올라가, 각 가중치를 어떻게 수정해야 할지를 구하는 수법입니다.

왜 「역(逆)」인가? 테스트에서 틀렸을 때, "마지막 계산 실수인가? 아니면 중간의 이해 부족인가?"라며 원인을 뒤에서부터 거슬러 올라가 찾곤 하죠. 그것과 마찬가지로, 출력의 오차로부터 "어떤 가중치가 얼마나 악영향을 끼쳤는가"를 뒤에서부터 순서대로 판별해 나가는 것입니다.

이때 사용되는 수학적 도구가 **미분 (Gradient)**과 **연쇄 법칙 (Chain Rule)**이지만, 문과 분들은 "각 가중치의 책임 크기를 기울기(Gradient)로서 계산하고 있다"라는 이미지로 충분합니다.

그리고 구한 기울기를 바탕으로 가중치를 업데이트하는 것이 SGD나 Adam 같은 **최적화 기법 (Optimizer)**의 역할입니다.

층을 깊게(Deep하게) 쌓을수록 똑똑해질 것 같지만, 과거의 뉴럴 네트워크에서는 층을 늘리면 오히려 학습을 할 수 없게 되는 문제가 발생했습니다. 그것이 **경사 소실 문제 (Vanishing Gradient Problem)**입니다.

오차 역전파법에서는 오차를 뒤에서부터 거슬러 올라갈 때마다 기울기를 곱해 나갑니다. 이때 **시그모이드 함수 (Sigmoid Function)**를 사용하면, 그 미분의 최댓값이 0.25밖에 되지 않기 때문에 층을 거슬러 올라갈 때마다 기울기가 점점 작아져, 입력층에 가까운 층에서는 거의 0이 되어 버립니다. 기울기가 0이라는 것은 "수정해야 할 양을 알 수 없다" = 학습이 멈춘다는 뜻입니다.

• ReLU 함수의 등장: 양의 입력에 대해 기울기가 1로 유지되므로, 기울기가 사라지기 어렵다. 딥러닝 보급의 일등 공신
• 배치 정규화 (Batch Normalization): 각 층 출력의 분포를 정돈하여 학습을 안정시킨다
• 스킵 연결 (ResNet의 잔차 연결): 층을 뛰어넘는 경로를 만들어 기울기가 잘 전달되게 한다

이 "경사 소실 문제 → ReLU 등으로 해결"이라는 흐름은 딥러닝이 돌파구를 찾은 역사와도 직결되어 있으므로, 스토리로 외우면 잊어버리지 않습니다.

• 4단계 스토리로 통째로 암기: 순전파(Forward Propagation) → 손실(Loss) → 역전파(Backpropagation) → 업데이트(Update)의 흐름을 말로 설명할 수 있도록 하기

• 「역전파 = 틀린 원인 찾기」라고 바꿔 말하기: 수식이 아닌 언어적 이미지로 고정하기

• 경사 소실은 "곱셈으로 줄어든다"고 이미지화: 작은 수를 계속 곱하면 0에 가까워진다는 직관만으로 충분

• 대책을 세트로 암기: 경사 소실 = 시그모이드(Sigmoid)가 원인, ReLU · 배치 정규화(Batch Normalization) · 스킵 연결(Skip Connection)로 대책,을 하나의 세트로

• 순전파와 오차 역전파법의 방향(앞→뒤 / 뒤→앞)을 구분할 수 있는가

• 오차 역전파법이 「경사(Gradient)를 구하는」 수법이라고 설명할 수 있는가

• 경사 소실 문제가 왜 발생하는가(시그모이드의 미분값이 작음)를 말할 수 있는가

• 경사 소실에 대한 대책(ReLU · 배치 정규화 · 스킵 연결)을 꼽을 수 있는가

• 경사를 사용하여 가중치(Weight)를 업데이트하는 것이 최적화(Optimization) 기법임을 이해하고 있는가

오차 역전파법은 이름의 난이도와 달리, 하고 있는 일은 「틀린 원인을 출력 측에서부터 거슬러 올라가 찾아내어, 가중치를 수정하는」 심플한 메커니즘입니다. 그리고 그 거슬러 올라가는 도중에 경사가 줄어들어 버리는 것이 경사 소실 문제. 이를 ReLU 등으로 극복함으로써 지금의 딥러닝(Deep Learning) 시대가 시작되었습니다.

문과 출신 분들은 수식을 쫓기보다 4단계의 흐름과 경사 소실 및 그 대책을 말로 설명할 수 있도록 하는 것이 합격으로 가는 지름길입니다.

G検定(G검정) 학습에는 분야별로 체계적으로 정리된 교재가 도움이 됩니다. 저도 수험 전에 도움을 받았던 사이트를 소개합니다.

오차 역전파법이나 경사 소실 문제를 포함한 딥러닝 기초 분야의 해설이 충실하여, 시험 대비에 활용할 수 있습니다.

이 기사는 JDLA 인증 공식 콘텐츠가 아닙니다. 필자 개인의 학습 경험에 기반한 비공식 정보 공유입니다.