makemore 구축하기 Part 2: MLP

요약

이 기술 기사는 Andrej Karpathy의 'makemore 구축하기 Part 2: MLP' 비디오를 기반으로 하며, 다층 퍼셉트론(MLP)을 사용하여 문자 단위 언어 모델을 구현하는 과정을 다룹니다. 이 과정에서 모델 학습, 학습률 최적화, 하이퍼파라미터 설정, 평가 지표 이해, 그리고 과소/과적합 방지 등 머신러닝의 핵심적인 기본 개념들을 심도 있게 소개합니다. 참가자들은 실제 데이터셋 구축부터 임베딩 레이어, 은닉층 및 출력층 구현에 이르기까지 전체 네트워크를 직접 코드로 작성하며 이론을 실습으로 연결하는 경험을 하게 됩니다.

핵심 포인트

• MLP(Multi-Layer Perceptron) 기반의 문자 단위 언어 모델 구현 방법 학습
• 머신러닝의 핵심 개념 (하이퍼파라미터, 과적합/과소적합, 평가 등)에 대한 실질적인 이해 증진
• PyTorch 텐서 구조 및 내부 작동 원리(storage, views)를 깊이 있게 파악하는 기회 제공
• 실제 연구 논문(Bengio et al. 2003)의 아이디어를 코드로 구현하며 이론적 지식을 확장할 수 있음