안녕하세요 Reddit 여러분, OpenAI의 GPT2 스타일 Transformer를 재구축하는 방법을 가르치는 '나만의 LLM 만들기'

요약

수학이나 머신러닝 사전 지식이 없어도 GPT2 스타일의 트랜스포머를 직접 구축할 수 있는 워크숍 가이드입니다. 기초적인 퍼셉트론부터 최신 LLM 아키텍처, 사전 학습 및 지시어 튜닝까지 전 과정을 코드와 엑셀 예제로 다룹니다.

핵심 포인트

• GPT2 스타일 트랜스포머 아키텍처의 밑바닥부터 구현 방법 제공
• ML 기초, 심층 신경망, 트랜스포머 구조 및 학습 프로세스 포함
• PyTorch, CUDA, Triton 등 GPU 코딩 실습 포함
• 데이터 전처리, 토크나이저, 어텐션 메커니즘 등 핵심 요소 학습
• 지시어 튜닝 및 강화 학습(SimPO) 등 최신 기법 안내