AI 강의에 1만 달러를 지불하는 것을 중단하세요.

요약

이 레포지토리는 사용자가 처음부터 자신만의 LLM을 학습시키는 과정을 안내합니다. 트랜스포머 구조 구축, The Pile 데이터셋 활용, 그리고 SFT와 RLHF 가이드까지 제공하여 모델 개발 전반의 이해를 돕습니다.

핵심 포인트

• 트랜스포머 기초부터 직접 구현하는 방법을 배울 수 있습니다.
• The Pile(825GB)을 사용하여 LLM 학습 과정을 경험할 수 있습니다.
• SFT와 RLHF 가이드가 포함되어 모델 개발 전반을 다룹니다.
• 무료 Colab T4 환경에서 13M 파라미터 LLM 실행이 가능합니다.