요약

이 저장소는 PyTorch를 사용하여 클래식 및 최신 AI/ML 논문 37개를 처음부터 재현한 코드를 제공합니다. BERT, GPT, Llama, Mixtral 등 주요 모델의 아키텍처와 하이퍼파라미터가 포함되어 있습니다. 또한, 소형 언어 모델을 직접 구축하고 훈련시킨 결과물과 SFT/RL 기반의 사후 훈련 레시피도 제공합니다.

핵심 포인트

• 37개 논문 재현: Bahdanau 어텐션부터 Llama, Mixtral까지 광범위하게 커버합니다.
• 소형 모델 개발: TinyStories 데이터셋 기반의 SmolLlama 등 오리지널 아키텍처를 제공합니다.
• 체계적인 분류: 논문 재현물과 별도로 SFT 및 RL 기반 사후 훈련 레시피가 분리되어 있습니다.
• 실험 기록: 각 항목은 하이퍼파라미터, 데이터셋, 최종 손실값 등 실제 실험 결과를 상세히 기록합니다.