3위안과 2시간이면 대규모 언어 모델(LLM)을 직접 학습시킬 수 있다니, 믿어지시나요?

요약

단 25.8M 파라미터 규모의 미니 언어 모델을 저렴한 비용과 짧은 시간 안에 학습할 수 있는 오픈 소스 프로젝트가 화제입니다. 토크나이저 학습부터 사전 학습, SFT, 멀티모달 버전까지 LLM의 전 과정을 PyTorch로 구현하여 학습용으로 최적화되었습니다.

핵심 포인트

• 25.8M 파라미터 규모의 초소형 미니 언어 모델 학습 지원
• 토크나이저, 사전 학습, SFT 등 LLM 전체 프로세스 오픈 소스 제공
• PyTorch 네이티브 작성 및 MoE 아키텍처 호환 가능
• 시각적 멀티모달 버전인 MiniMind-V 포함