만약 제가 AI/ML 엔지니어가 되기 위해 6개월의 시간이 주어진다면,
이것들을 할 것입니다.
Stage 1: Tensor Math & PyTorch Internals (텐서 수학 및 PyTorch 내부 구조)
커스텀 autograd, CUDA memory hierarchy, mixed-precision training (BF16/FP8), stride 계산, operator fusion.
Stage 2: Data Curation & Synthetic Pipelines (데이터 큐레이션 및 합성 파이프라인)
MinHash deduplication, evolutionary prompting, domain-weighting, scaling laws, verifier 모델을 사용하여 합성 트레이스 필터링하기.
Stage 3: PEFT & Model Merging (PEFT 및 모델 병합)
LoRA, QLoRA, DoRA, low-rank mathematics, model merging (SLERP, TIES), 소비자용 GPU에서 최첨단 지능 적응시키기.
Stage 4: Alignment & Preference Optimization (정렬 및 선호도 최적화)
DPO, KTO, ORPO, reward modeling, rejection sampling, reward hacking 완화, behavioral distribution shifting.
Stage 5: Distributed Training & 3D Parallelism (분산 학습 및 3D 병렬 처리)
DeepSpeed ZeRO-3, FSDP, Tensor/Pipeline/Data parallelism, NCCL communication primitives, gradient checkpointing.
Stage 6: Advanced Architectures (Beyond Dense Transformers) (고급 아키텍처 (Dense Transformer를 넘어서))
Mixture of Experts (MoE) routing, State-Space Models (Mamba/S4), Grouped Query Attention (GQA), linear attention.
Stage 7: Multimodal Fusion & Custom Embeddings (멀티모달 융합 및 사용자 정의 임베딩)
Vision encoders (SigLIP), cross-attention mechanisms, audio tokenization, 니치 도메인을 위한 contrastive embedding 모델 파인튜닝.
Stage 8: Eval-Driven Development & Red Teaming (평가 주도 개발 및 레드팀 운영)
Contamination detection, dynamic eval harnesses, adversarial robustness, automated red-teaming, LLM-as-a-judge calibration.
Stage 9: Inference Physics & Quantization (추론 물리 및 양자화)
KV-cache quantization, speculative decoding compatibility, RoPE scaling, attention sinks, AWQ/GPTQ calibration.
Stage 10: MLOps & Experiment Tracking (MLOps 및 실험 추적)
Weights & Biases (W&B), Ray clusters, automated hyperparameter sweeps, dataset versioning, reproducibility pipelines.
Stage 11: Production Serving & Routing (프로덕션 서빙 및 라우팅)
vLLM/SGLang, TensorRT-LLM, continuous batching, semantic routing, complexity-based model cascading, edge deployment (MLX).
스테이지 12: 오픈 소스 및 포트폴리오
HuggingFace에 파인튜닝(fine-tune) 모델을 게시하고, 엄격한 모델 카드(model card)를 작성하며, Arxiv 논문을 재현하고, 공개 벤치마크 분석(benchmark teardown)을 수행하세요.
대부분의 사람들은 튜토리얼을 보는 데서 시간을 보내며 머뭇거립니다.
실제로 만드는 사람들(Builders)이 채용됩니다.
(북마크하기)