AI 엔지니어가 배워야 할 것들:

요약

본 로드맵은 AI 엔지니어가 숙달해야 할 심화 추론 서비스 구축 과정을 제시합니다. 메모리 바운드 이해부터 vLLM/SGLang 배포, Kubernetes 기반의 부하 테스트 및 최적화 기법(양자화, 추측 디코딩)까지 다룹니다. 궁극적으로 재현 가능한 벤치마크를 갖춘 프로덕션급 추론 서비스를 구축하는 것을 목표로 합니다.

핵심 포인트

• Roofline 모델을 이해하고 메모리 바운드 디코딩 원리를 학습해야 합니다.
• vLLM, SGLang 배포 및 Grafana/Prometheus를 이용한 상세 관측성 확보가 필수입니다.
• 양자화(FP8, INT4)와 추측 디코딩 등 고급 최적화 기법을 마스터해야 합니다.
• Kubernetes 기반으로 AI 워크로드를 자동 스케일링하는 방법을 학습해야 합니다.