AI 강의에 1만 달러를 지불하는 것을 중단하세요.
요약
이 레포지토리는 사용자가 처음부터 자신만의 LLM을 학습시키는 과정을 안내합니다. 트랜스포머 구조 구축, The Pile 데이터셋 활용, 그리고 SFT와 RLHF 가이드까지 제공하여 모델 개발 전반의 이해를 돕습니다.
핵심 포인트
- 트랜스포머 기초부터 직접 구현하는 방법을 배울 수 있습니다.
- The Pile(825GB)을 사용하여 LLM 학습 과정을 경험할 수 있습니다.
- SFT와 RLHF 가이드가 포함되어 모델 개발 전반을 다룹니다.
- 무료 Colab T4 환경에서 13M 파라미터 LLM 실행이 가능합니다.
이 레포지토리는 여러분 스스로의 LLM을 처음부터 학습시키는 방법을 알려줍니다.
• 트랜스포머(Transformer)를 기초부터 구축하기
• The Pile (825GB 데이터셋)으로 학습시키기
• 자신만의 모델로 텍스트 생성하기
• 무료 Colab T4에서 13M 파라미터 LLM 실행하기
• 2B+ 파라미터까지 확장하기
• SFT + RLHF 가이드 포함
데이터 다운로드부터 토큰화(tokenization) → 학습(training) → 추론(inference)까지 모든 과정.
100% 오픈 소스입니다.
가장 놀라운 점은 무엇일까요?
직접 하나를 구축하면서 ChatGPT가 내부적으로 어떻게 작동하는지 이해하게 될 것이라는 것입니다.
AI 자동 생성 콘텐츠
본 콘텐츠는 X @shruti_0810 (자동 발견)의 원문을 AI가 자동으로 요약·번역·분석한 것입니다. 원 저작권은 원저작자에게 있으며, 정확한 내용은 반드시 원문을 확인해 주세요.
원문 바로가기1