PyTorch와 Lightning AI를 사용하여 LSTM 구축하기 Part 1: LSTM의 첫 걸음

이 글에서는 PyTorch와 Lightning을 사용하여 LSTM을 구현하는 방법을 살펴보겠습니다.

LSTM에 대한 더 자세한 내용은 여기에서 별도의 시리즈 기사를 확인하실 수 있습니다.

Imports (임포트)

시작하기 위해, 먼저 필요한 모듈들을 임포트합니다.

import torch
import torch.nn as nn
import torch.nn.functional as F

새로운 Optimizer (최적화 도구) 소개

또한 새로운 optimizer를 소개합니다:

from torch.optim import Adam

Adam은 신경망을 데이터에 맞추기(fit) 위해 사용됩니다.

이는 SGD와 유사하게 작동하지만, 실제로는 Adam이 종종 더 빠르게 수렴하고 학습률 (learning rate)을 더 효과적으로 조정합니다.

Lightning 및 Data Utilities (데이터 유틸리티)

다음으로, 나머지 임포트를 계속합니다:

import lightning as L
from torch.utils.data import TensorDataset, DataLoader

LSTM 모델 정의하기

Lightning 모듈을 생성하여 신경망을 정의합니다.

class LSTMByHand(L.LightningModule):
    def __init__(self):
        # 가중치(weight) 및 편향(bias) 텐서 생성 및 초기화
...

모델 초기화하기

이제 __init__ 메서드를 구현해 보겠습니다.

이곳은 모든 가중치(weights)와 편향(biases)을 초기화하는 곳입니다.

class LSTMByHand(L.LightningModule):
    def __init__(self):
        super().__init__()
...

왜 정규 분포 (Normal Distribution)를 사용하는가?

이전 예제들과 달리, 우리는 **정규 분포 (normal distribution)**를 사용하여 가중치를 초기화합니다.

더 나아가기 전에, 그것이 무엇을 의미하는지 이해해 봅시다.

정규 분포란 무엇인가?

많은 사람들의 키를 측정한다고 상상해 보세요:

• 대부분의 사람들은 평균 키 근처에 있습니다.
• 키가 매우 크거나 매우 작은 사람은 드뭅니다.

이를 그래프로 그리면, **대칭적인 종 모양의 곡선 (symmetric bell-shaped curve)**이 형성됩니다.

이것을 **정규 분포 (normal distribution)**라고 부릅니다.

주요 특징 (Key Properties)

• **중심 (center)**은 가장 흔한 값들을 나타냅니다.
• 곡선은 **대칭 (symmetric)**입니다.
• **꼬리 (tails)**는 희귀한 값들을 나타냅니다.

평균과 표준편차 (Mean and Standard Deviation)

• 평균 (Mean) → 평균값
• 표준편차 (Standard deviation) → 값들이 얼마나 퍼져 있는지

작은 표준편차 vs 큰 표준편차

작은 표준편차 (Small Standard Deviation)

• 값들이 평균 주변에 밀집되어 있습니다.
• 예시: A반 점수가 주로 55–65 사이에 분포함

큰 표준편차 (Large Standard Deviation)

• 값들이 넓게 퍼져 있습니다.
• 예시: B반 점수가 20–90 범위에 걸쳐 있음

코드에서의 적용

우리는 다음을 사용합니다:

• 평균 (Mean) = 0
• 표준편차 (Standard deviation) = 1

또한, 모든 파라미터는 requires_grad=True로 설정되어 있으며, 이는 역전파 (backpropagation) 과정 동안 학습될 것임을 의미합니다.

다음으로, lstm_unit 함수와 LSTM이 실제로 정보를 단계별로 어떻게 처리하는지 살펴보겠습니다.

AI 에이전트는 코드를 빠르게 작성합니다. 하지만 사용자에게 알리지 않고 조용히 로직을 제거하거나, 동작을 변경하고, 버그를 유발하기도 합니다. 이러한 문제는 종종 프로덕션 환경에서 발견되곤 합니다.

git-lrc가 이 문제를 해결합니다. git 커밋에 후킹하여 모든 diff가 반영되기 전에 검토합니다. 60초면 설정이 완료되며, 완전히 무료입니다.

모든 피드백과 기여자를 환영합니다! 온라인에서 소스 코드를 확인할 수 있으며 누구나 사용할 준비가 되어 있습니다.

Github에서 ⭐ star를 눌러주세요