저의 'AI/ML 노트 복습' 시리즈의 4번째 글입니다. 이전 게시물에서는 순전파(forward propagation)—가중합과 끝단의 sigmoid 스쿼시—에 대해 다루었습니다. 이번 글은 활성화 함수 자체에 초점을 맞춥니다: 그것들이 무엇을 위한 것이며, 가장 흔하게 사용되는 두 가지 함수의 특징입니다.

활성화 함수가 존재하는 이유

활성화 함수가 없다면, 뉴런은 단순히 가중합—선형 방정식일 뿐입니다. 아무리 많은 선형 레이어를 쌓아도 전체 네트워크는 수학적으로 하나의 거대한 선형 함수로 무너집니다. 이것은 심각한 한계점인데, 대부분의 실제 세계 패턴(이미지, 언어 등 진정으로 복잡한 모든 것)은 선형 분리가 불가능하기 때문입니다.

활성화 함수는 **비선형성(non-linearity)**을 도입하며, 이것이 바로 딥 네트워크가 단순히 직선에 맞추는 것이 아니라 복잡한 패턴을 학습할 수 있게 해주는 핵심 요소입니다.

Sigmoid

sigmoid(y) = 1 / (1 + e^-y)

Sigmoid는 모든 입력을 0과 1 사이의 값으로 압축하는 S자 형태의 곡선입니다. 이 특성 때문에 확률로 자연스럽게 해석될 수 있으며, 이것이 바로 이 함수가 **출력 레이어(output layer)**에서 이진 분류(binary classification)를 위해 여전히 흔하게 사용되는 이유입니다.

분류 맥락에서 이해하기 쉬운 방법은 다음과 같습니다:

• 만약 출력이 0.5보다 작으면, 뉴런은 효과적으로 활성화되지 않습니다—네트워크는

ReLU(y) = max(y, 0)
ReLU는 거의 공격적으로 단순합니다:

• y가 음수이면, 출력은 0입니다. 즉, 뉴런이 전혀 발화하지 않습니다.
• y가 양수이면, 출력은 y 자신이며, 완전히 변하지 않습니다.

이러한 단순함이야말로 ReLU가 현대 딥 네트워크의 은닉층(hidden layers)에서 기본 선택지가 된 이유입니다. 계산 비용이 저렴할 뿐만 아니라, sigmoid처럼 양수 입력에 대해서도 기울기 소실(vanishing gradients) 문제를 겪지 않기 때문입니다.

실제로 사용되는 경우

이러한 트레이드오프(tradeoffs)에서 도출되는 실질적인 관례는 다음과 같습니다:

• 은닉층 (Hidden layers) → ReLU (또는 Leaky ReLU와 같은 변형), 여러 개의 쌓인 계층을 거치면서도 더 빠르게 학습하고 기울기 소실을 피할 수 있기 때문입니다.
• 출력층 (Output layer) → 이진 분류(0과 1 사이의 단일 확률)에는 sigmoid를, 다중 클래스 문제에는 softmax를 사용합니다.

이러한 분리 — 중간에 ReLU를 사용하고 맨 끝에 sigmoid/softmax를 사용하는 것 — 은 오늘날 대부분의 분류 네트워크에서 기본 아키텍처 선택지에 가깝습니다.

이것이 중요한 이유

잘못된 활성화 함수를 선택하는 것은 미적인 문제가 아닙니다. 이는 딥 네트워크가 아예 학습할 수 있는지 여부에 직접적인 영향을 미칩니다. 오직 sigmoid 은닉층으로만 구성된 네트워크는, 기울기가 여러 계층을 거쳐 역전파(backpropagated)될 때 얼마나 빨리 사라지는지에 순전히 기인하여 깊은 구조에서 눈에 띄게 느리게 학습하거나 (혹은 완전히 정지할) 수 있습니다. 이것이 바로 다음 게시물의 정확한 주제입니다.

다음 내용은 역전파(backpropagation)입니다. 네트워크가 손실(loss)을 사용하여 모든 가중치(weight)를 실제로 업데이트하는 방법을 다룹니다.

Original Notes: