AI 엔지니어로서 반드시 학습해야 할 사항들

요약

AI 엔지니어가 실무에서 갖춰야 할 추론 최적화 및 서빙 역량을 정리한 가이드입니다. Roofline model 이해부터 vLLM 활용, 관측성 구축, 양자화 및 부하 테스트까지 10주간의 학습 로드맵을 제공합니다.

핵심 포인트

• 메모리 대역폭 및 Roofline model 기반의 디코딩 이해
• vLLM, SGLang 등 추론 엔진 및 PagedAttention 학습
• TTFT, Throughput 등 핵심 지표 관측성(Observability) 구축
• 양자화(FP8, INT4 등) 및 Speculative decoding 최적화
• Kubernetes 기반 오토스케일링 및 비용 효율적 모델 라우팅