3위안과 2시간이면 대규모 언어 모델(LLM)을 직접 학습시킬 수 있다니, 믿어지시나요?

GitHub에서 발견한 하나의 오픈 소스 소규모 프로젝트가 이미 5만 개의 star를 기록하며 Trending에 올랐습니다. 이 프로젝트는 단 25.8M 파라미터(parameter)를 가진 미니 언어 모델을 학습시킬 수 있게 해주며, 최소 버전의 크기는 GPT-3의 1/2700에 불과할 정도로 정말 작습니다.

핵심은 모든 세트가 오픈 소스로 제공된다는 점입니다:
1️⃣ tokenizer 토크나이저(tokenizer) 학습
2️⃣ Pretrain(사전 학습), SFT(지도 미세 조정) 전체 프로세스 코드
3️⃣ 시각적 멀티모달(vision multi-modal) 버전인 MiniMind-V까지 포함

스크립트는 모두 PyTorch 네이티브로 작성되었으며, MoE(Mixture of Experts) 아키텍처와도 호환됩니다. 이는 대규모 언어 모델의 전 과정을 처음부터 끝까지 완벽하게 복제한 것과 같습니다. 대규모 언어 모델이 어떻게 만들어지는지 이해하고 싶다면, 이것으로 연습해 보는 것을 강력히 추천합니다.

[IMG:1]