Insights
AI가 자동으로 큐레이션·번역·정리하는 기술 동향 피드입니다.
create-llm은 LLM 학습 프로젝트를 위한 CLI 도구로, 단일 명령어로 모델 아키텍처, 데이터 전처리 파이프라인, 토크나이저 학습 등 복잡한 과정을 한 번에 제공합니다. 사용 사례별 최적화된 템플릿(NANO부터 BASE까지)을 제공하여 프로덕션 레디한 LLM 개발 환경 구축 시간을 혁신적으로 단축시킵니다.
AI 자동 생성 콘텐츠
본 콘텐츠는 GitHub AI Research의 원문을 AI가 자동으로 요약·번역·분석한 것입니다. 원 저작권은 원저작자에게 있으며, 정확한 내용은 반드시 원문을 확인해 주세요.
원문 바로가기 _ _ _
___ _ __ ___ __ _ | |_ ___ | || | _ __ ___
/ __|| '__| / _ \ / _` || __| / _ \ _____ | || || '_ ` _ \
...
LLM 생성 및 학습을 위한 CLI 도구
프로덕션 레디(production-ready) LLM 학습 프로젝트를 몇 초 만에 생성합니다. 커스텀 언어 모델을 학습시키기 위한 create-next-app과 유사합니다.
npm version
npm downloads
GitHub stars
License: MIT
npm 패키지 • 문서화 (Documentation) • 버그 보고 (Report Bug) • 기능 요청 (Request Feature)
npx create-llm my-awesome-llm
cd my-awesome-llm
pip install -r requirements.txt
...
언어 모델을 처음부터 학습시키려면 다음이 필요합니다:
create-llm은 이 모든 것을 단 하나의 명령어로 제공합니다.
사용 사례에 최적화된 4가지 템플릿 중에서 선택할 수 있습니다:
필요한 모든 것을 즉시 사용할 수 있습니다:
지능적인 설정 기능:
선택적 통합 기능:
# npx 사용 (권장 - 설치 불필요)
npx create-llm my-llm
...
npx create-llm
다음 항목에 대한 프롬프트가 나타납니다:
# 모든 것을 미리 지정하여 실행
npx create-llm my-llm --template tiny --tokenizer bpe --skip-install
Node.js나 Python을 로컬에 설치하지 않고도 create-llm 실행!
# Docker 이미지 빌드
git clone https://github.com/theaniketgiri/create-llm.git
cd create-llm
...
# 클론 및 빌드
git clone https://github.com/theaniketgiri/create-llm.git
cd create-llm
...
✅ 로컬 종속성 없음 (No Local Dependencies) - Node.js 및 Python 설치 생략
✅ GPU 지원 (GPU Support) - NVIDIA GPU 자동 감지
✅ 일관된 환경 (Consistent Environment) - 모든 기기에서 동일한 설정 유지
✅ 쉬운 확장(Easy Scaling) - 여러 학습 작업을 병렬로 실행
✅ 프로덕션 준비 완료 (Production Ready) - Docker가 구동되는 곳 어디든 배포 가능
📖 전체 Docker 가이드: 전체 문서는 DOCKER.md를 참조하세요.
학습 및 빠른 실험용
Parameters: ~1M
Hardware: Any CPU (2GB RAM)
Time: 1-2 minutes
...
사용 시점:
프로토타이핑 및 소규모 프로젝트용
Parameters: ~6M
Hardware: CPU 또는 기본 GPU (4GB RAM)
Time: 5-15분
...
사용 시점:
프로덕션 애플리케이션용
Parameters: ~100M
Hardware: RTX 3060+ (12GB VRAM)
Time: 1-3시간
...
사용 시점:
연구 및 고품질 모델용
Parameters: ~1B
Hardware: A100 또는 다중 GPU
Time: 1-3일
...
사용 시점:
npx create-llm my-llm --template tiny --tokenizer bpe
cd my-llm
pip install -r requirements.txt
텍스트 파일을 data/raw/에 배치합니다:
# 예시: 셰익스피어 다운로드
curl https://www.gutenberg.org/files/100/100-0.txt > data/raw/shakespeare.txt
...
팁: 의미 있는 결과를 얻으려면 최소 1MB 이상의 텍스트로 시작하세요.
python tokenizer/train.py --data data/raw/
이는 데이터로부터 어휘(vocabulary)를 생성합니다.
python data/prepare.py
이것은 데이터를 토큰화하고 학습을 위해 준비합니다.
# 기본 학습
python training/train.py
...
python evaluation/evaluate.py --checkpoint checkpoints/checkpoint-best.pt
python evaluation/generate.py \
--checkpoint checkpoints/checkpoint-best.pt \
--prompt "Once upon a time" \
...
python chat.py --checkpoint checkpoints/checkpoint-best.pt
# Hugging Face로 배포 시
python deploy.py --to huggingface --repo-id username/my-model
...
my-llm/
├── data/
│ ├── raw/ # 여기에 학습 데이터가 들어갑니다
...
모든 것은 llm.config.js를 통해 제어됩니다:
module.exports = {
// 모델 아키텍처
model: {
...
npx create-llm [프로젝트 이름] [옵션]
| 옵션 | 설명 | 기본값 |
|---|---|---|
--template <name> | 사용할 템플릿 (nano, tiny, small, base, custom) | Interactive |
| ... |
# 대화형 모드 (최초 사용 시 권장)
npx create-llm
...
최소 데이터 요구 사항:
데이터 품질:
과적합 방지 (Avoid Overfitting):
학습 최적화 (Optimize Training):
mixed_precision: true).gradient_accumulation_steps를 늘리세요."Vocab size mismatch detected"
"Position embedding index error" 또는 sequences too long
max_length를 늘리는 것을 고려해 보세요."Model may be too large for dataset"
"CUDA out of memory"
batch_size를 줄이세요.mixed_precision: true를 활성화하세요.gradient_accumulation_steps를 늘리세요."Training loss not decreasing"
CLI 도구용 (For CLI Tool)
학습용 (For Training)
로컬 종속성 불필요! (No local dependencies needed!)
개발 설정 및 지침은 DEVELOPMENT.md를 참조하세요.
기여를 환영합니다! 지침은 CONTRIBUTING.md를 참고하세요.
| 영역 | 설명 | 난이도 |
|---|---|---|
| 버그 수정 (Bug Fixes) | 문제 해결 및 안정성 향상 | 쉬움 (Easy) |
| ... |
MIT © Aniket Giri
더 많은 정보는 LICENSE를 참조하세요.
다음으로 구축되었습니다:
이 프로젝트가 유용하다고 생각되시면, 별점(star)을 주시는 것을 고려해 주세요!