모두가 인공지능 (AI)을 이야기하지만, Transformer가 무엇인지조차 설명하지 못하시나요?

상당히 인상적인 저장소 (Repo)가 있습니다. 어떠한 고급 라이브러리도 사용하지 않고 처음부터 GPT를 구축합니다. 어텐션 메커니즘 (Attention mechanism), 멀티 헤드 (Multi-head), 피드 포워드 (Feed-forward), 임베딩 (Embedding), 잔차 (Residuals) 및 레이어 정규화 (Layer normalization)가 어떻게 구성되는지를 정확하게 보여줍니다. 그리고 단순히 모델만 포함하는 것이 아니라, 전체 체인 (Chain)을 포괄합니다:

1️⃣ 데이터 다운로드, 전처리 (Pre-processing), 학습 (Training) 및 생성 (Generation) – 이 모든 것이 한 번에 이루어집니다.

2️⃣ 학습 데이터는 22개의 소스, 825GB 규모인 The Pile을 사용합니다.

3️⃣ TikTok 토큰화 (Tokenization), HDF5 형식으로 저장됩니다.

4️⃣ 사전 학습 (Pre-training) 이후 SFT 및 RLHF를 위한 경로를 제공합니다.

몇 가지 설정을 변경하여 크기를 조절할 수 있습니다. 약 1,300만 개의 파라미터 (Parameters)로 문법 및 단어 매칭을 시작해 보세요. Colab 또는 Kaggle의 T4 벤치마크 (Benchmark)에 무료로 접근하여 하루 만에 실행할 준비를 마칠 수 있습니다.

원리를 진정으로 이해하고 라이브러리 의존성을 없애고 싶다면, 이것이 시작하는 가장 깔끔한 방법입니다.

Repo 👇