신경망을 위한 PyTorch 파트 3: 순전파 (Forward Passes)

이전 글에서 우리는 예시 신경망을 정의하고 PyTorch를 사용하여 **가중치 및 편향 (weights and biases)**을 위한 변수 생성을 시작했습니다.

이번 글에서는 신경망을 통한 **순전파 (forward passes)**를 수행하는 방법을 탐구하며 내용을 이어가겠습니다.

참고: 이것은 우리가 다시 구현할 신경망입니다.

그럼 시작해 봅시다!

첫 번째 계산 생성하기

먼저 input_to_top_relu를 생성하는 것부터 시작하겠습니다.

def forward(self, input):
    input_to_top_relu = input * self.w00 + self.b00

여기서 우리는 입력을 가져와 가중치 w00를 곱하고 편향 b00를 더합니다.

이 과정은 첫 번째 **ReLU 활성화 함수 (ReLU activation function)**를 위한 입력을 제공합니다.

ReLU 활성화 함수 적용하기

다음으로, F.relu()를 사용하여 input_to_top_relu를 **ReLU 활성화 함수 (ReLU activation function)**에 통과시킵니다.

def forward(self, input):
    input_to_top_relu = input * self.w00 + self.b00
    top_relu_output = F.relu(input_to_top_relu)

F는 다음 임포트(import)에서 가져온 것입니다:

import torch.nn.functional as F

이 모듈을 통해 ReLU와 같은 활성화 함수에 접근할 수 있습니다.

ReLU 출력 스케일링

이제 top_relu_output을 사용하여 scaled_top_relu_output을 계산합니다.

여기서는 단순히 출력에 다른 가중치를 곱합니다.

def forward(self, input):
    input_to_top_relu = input * self.w00 + self.b00
    top_relu_output = F.relu(input_to_top_relu)
...

하단 경로에 동일한 프로세스 반복하기

네트워크의 하단 부분에 대해서도 동일한 일련의 연산을 수행합니다.

def forward(self, input):
    input_to_top_relu = input * self.w00 + self.b00
    top_relu_output = F.relu(input_to_top_relu)
...

모든 것을 하나로 결합하기

마지막으로, 상단(top) 경로와 하단(bottom) 경로의 출력값을 최종 편향(bias)과 함께 더합니다.

그런 다음, 그 결과를 마지막 **ReLU 활성화 함수 (ReLU activation function)**를 통해 통과시킵니다.

def forward(self, input):
    input_to_top_relu = input * self.w00 + self.b00
    top_relu_output = F.relu(input_to_top_relu)
...

지금까지 구축한 것

이 시점에서, 우리의 신경망은 **두 가지 메서드 (methods)**를 가지고 있습니다:

__init__()

이 메서드는 가중치(weights)와 편향(biases)을 초기화하는 데 사용됩니다.

forward()

이 메서드는 신경망을 통한 **순전파 (forward pass)**를 수행합니다.

입력값을 받아 다음 요소들을 사용하여 출력값을 계산합니다:

• 가중치 (weights)
• 편향 (biases)
• 활성화 함수 (activation functions)

이제 순전파를 구축했으므로, 다음 단계는 몇 가지 입력값을 대입하여 모든 것이 올바르게 작동하는지 테스트하는 것입니다.

그 내용은 다음 글에서 살펴보겠습니다.

AI 에이전트는 코드를 빠르게 작성합니다. 하지만 사용자에게 알리지 않고 조용히 로직을 제거하거나, 동작을 변경하고, 버그를 유발하기도 합니다. 이는 종종 운영 환경(production)에서 발견되곤 합니다.

git-lrc가 이를 해결합니다. 이 도구는 git 커밋에 후킹(hook)하여 모든 차이점(diff)이 반영되기 전에 검토합니다. 설정은 60초면 충분하며, 완전히 무료입니다.

모든 피드백과 기여자를 환영합니다! 온라인에서 소스 코드를 확인할 수 있으며, 누구나 사용할 준비가 되어 있습니다.

Github에서 ⭐ star를 눌러주세요