저는 백엔드 엔지니어입니다. 제가 생각하는 AI 엔지니어링 학습 순서 (수학 지식 없이)

저는 Java, Spring Boot, 그리고 Kafka로 하루를 보냅니다. AI 엔지니어링을 배우기 시작했을 때, 제가 찾은 모든 자료는 두 가지 문제 중 하나였습니다. 선형대수(linear algebra)부터 시작하거나, 결코 끝내지 못할 것 같은 40시간짜리 비디오 강의였죠.

실제로 효과적이었던 것은 올바른 순서로 학습하는 것이었고, 각 아이디어는 한 번에 끝낼 수 있을 만큼 작았습니다. 이것이 바로 그 순서입니다. 각 단계에는 여기에 간략한 설명과 더 깊이 알고 싶다면 무료 5분짜리 강의 링크가 있습니다.

ML 경험이 필요하지 않습니다. 함수를 작성하고 API를 호출할 수만 있다면 준비된 것입니다.

Step 0: 직무가 실제로 무엇인지 파악하기

'AI 엔지니어'라는 말은 보통 모델을 학습시킨다는 의미는 아닙니다. 이미 존재하는 모델 위에 제품을 구축하는 것을 의미합니다. 즉, 모델을 호출하고, 적절한 컨텍스트(context)를 공급하며, 출력의 신뢰성을 확보하고, 빠르고 저렴하게 유지하는 것입니다.

이것은 대부분 소프트웨어 엔지니어링에 해당하므로, 백엔드를 이미 작성하는 분들에게는 좋은 소식입니다.

👉 AI 엔지니어링이란 무엇인가? (7분)

Step 1: LLM이 실제로 무엇을 하는지 이해하기

LLM은 그 앞에 있는 모든 것을 기반으로 토큰(token)을 하나씩 예측합니다. 그것뿐입니다. 거의 모든 '이상한' 행동은 이로부터 파생됩니다:

환각 현상(hallucinates): 검증된 사실이 아니라 가능성이 높은 텍스트를 생성하기 때문에 발생합니다.
최근 사건을 알지 못함: 학습 데이터가 끝나는 시점에서 지식이 멈추기 때문에 그렇습니다.
'strawberry'의 'r' 개수를 셀 수 없음: 문자를 보는 것이 아니라 토큰을 보기 때문에 불가능합니다.

마지막 점이 사람들을 놀라게 하므로, 직접 한번 해보세요: 아무 문장이나 이 토크나이저 플레이그라운드에 붙여넣고 어떻게 분해되는지 지켜보세요.

👉 LLM이란 무엇인가? · 토큰화(Tokenization)

Step 2: 첫 API 호출을 수행하고, 그 다음 노브(knobs)들을 배우기

어떤 프레임워크를 사용하기 전에, 모델을 직접 호출하여 원본 응답(raw response)을 살펴보세요. 그런 다음 매일 다루게 될 세 가지 파라미터를 학습하세요:

Parameter	기능	실용적인 규칙 (Rule of thumb)
`temperature`	각 단어 선택의 창의성 정도	사실이나 코드에는 낮게, 브레인스토밍에는 높게 설정하는 것이 좋습니다.
...
보는 것이 읽는 것보다 중요합니다. temperature demo에서 슬라이더를 움직여 같은 질문을 몇 번 해보세요.

👉 첫 LLM API 호출하기 · LLM 파라미터 이해하기

3단계: 출력을 코드가 사용할 수 있는 형태로 만들기

채팅 응답은 사람을 위한 것입니다. 백엔드는 신뢰하기 전에 스키마(schema)와 일치하는 JSON이 필요합니다. Pydantic이나 Jackson을 사용해 본 적이 있다면 익숙하게 느껴질 것입니다: 형태를 정의하고, 모델에게 그것을 요청하며, 검증합니다. 일치하지 않으면 재시도하거나 명확히 실패 처리해야 합니다.

이 한 단계가 AI 데모를 AI 기능으로 바꿉니다.

👉 LLM의 구조화된 출력(Structured Output) · 효과적인 프롬프트의 해부학(Anatomy of an Effective Prompt)

4단계: 임베딩(Embeddings), 모든 것이 구축되는 아이디어

임베딩은 텍스트를 숫자 목록, 즉 의미에 대한 좌표로 변환합니다. 내용이 비슷한 텍스트는 공통 단어가 없더라도 서로 가까운 위치에 놓입니다.

이 전체 개념을 몇 줄의 일반 Python 코드로 볼 수 있습니다. 이것들은 장난감 같은 3차원 벡터이며 (실제로는 수백 차원을 가집니다):

import math

def cosine(a, b):
...

👉 임베딩(Embeddings)이란 무엇인가? · 10분 만에 이해하는 벡터 데이터베이스(Vector Databases)

5단계: RAG, 즉 '찾아보고 답변하기'

Retrieval-Augmented Generation은 거창하게 들립니다. 하지만 과정은 두 단계로 이루어집니다:

검색(Retrieve): 임베딩을 사용하여 질문과 가장 유사한 문서 청크를 찾습니다.
생성(Generate): 해당 청크들을 모델에 제공하고, 오직 그 내용만을 바탕으로 답변하도록 지시합니다.

이것이 바로 아무것도 미세 조정(fine-tuning)하지 않고도 자신만의 데이터에 대한 답변을 얻는 방법입니다. 어려운 부분은 대부분 지루한 엔지니어링 작업들입니다: 문서를 어떻게 분할할지(청킹, chunking), 그리고 답변이 정확한지 어떻게 _측정_할지(평가, evals). 평가 단계를 건너뛰면 그저 느낌만으로 제품을 출시하게 됩니다.

전체 흐름은 RAG 파이프라인 데모에서 애니메이션으로 확인할 수 있습니다.

👉 RAG란 무엇인가? · 청킹 전략(Chunking Strategies) · 평가 기초(Evals Basics)

6단계: 도구 및 에이전트 (이제부터만)

에이전트는 모두가 시작하고 싶어 하는 곳이며, 이것이 많은 에이전트 프로젝트들이 실패하는 이유입니다. 1~5단계를 거쳤다면, 이 개념들은 이해하기 쉽습니다:

도구 호출(Tool calling): 모델 자체가 어떤 작업을 수행하지 않습니다. 대신, 코드에 특정 인수를 가진 함수를 호출해 달라고 _요청_하고, 코드가 이를 실행하며, 그 결과가 다시 모델로 전달됩니다.
에이전트(Agent): 작업이 완료될 때까지 이 루프(계획 → 행동 → 관찰)를 반복하는 것입니다.
MCP: 도구를 모델에 연결하는 표준 방식입니다. AI 도구의 USB-C라고 생각하면 됩니다.

이미 가지고 있는 백엔드 직관(타임아웃, 재시도, 최소 권한 원칙, Idempotency)이 바로 에이전트를 신뢰할 수 있게 만드는 핵심 요소입니다.

👉 From Text Generation to Action · MCP란 무엇인가? · AI 에이전트란 무엇인가?

7단계: 실제 시스템처럼 배포하기 (Ship it like a real system)

여기서 백엔드 엔지니어는 공정한 이점을 가집니다. 프로덕션 AI의 대부분은 다음 요소들로 구성됩니다:

비용(Cost): 토큰당 비용을 지불하므로 캐싱과 짧은 프롬프트가 중요합니다.
지연 시간(Latency): 스트리밍(streaming) 기능은 5초짜리 답변도 즉각적으로 느끼게 합니다.
보안(Security): 프롬프트 인젝션(prompt injection)이 새로운 SQL 인젝션입니다. 모델의 출력이 어떤 도구를 사용할지 절대 결정하게 두어서는 안 됩니다.
관측 가능성(Observability): 모든 호출을 토큰과 비용별로 추적하지 않으면 체인(chain) 디버깅을 할 수 없습니다.

👉 AI 앱 비용 이해하기 · 프롬프트 인젝션 방어하기 · LLM 관측 가능성(LLM Observability)

요약

직무 이해하기 (What the job is)
LLM 작동 방식 (토큰!)
API 호출 및 매개변수(parameters)
구조화된 출력(Structured output)
임베딩(Embeddings)
RAG와 평가(evals)
도구, MCP 및 에이전트
비용, 지연 시간, 보안, 관측 가능성

처음부터 빠진 것을 주목하세요: 미적분학(calculus), 모델 처음부터 학습시키기(training models from scratch), 프레임워크 선택하기입니다. 이 모든 것은 기다릴 수 있으며, 대부분은 이 직무에 선택 사항일 뿐입니다.

이 강의 자료의 출처

저는 제가 같은 처지에 있는 사람들, 즉 AI 분야로 진출하는 엔지니어들과 AI, ML, DSA 또는 시스템 설계 분야를 처음 시작하는 모든 사람들을 위해 사이드 프로젝트로 구축하고 있는 무료 웹사이트 **SproutStack**에 연결된 모든 강의 자료를 작성했습니다.

105개의 강의 자료, 각 5~8분 소요
모든 답이 왜 맞거나 틀렸는지 설명하는 퀴즈
설치할 필요 없이 브라우저에서 실행되는 Python 코드
가입 불필요. 계정은 선택 사항이며 진행 상황만 동기화합니다.

전체 AI 학습 경로는 여기에 순서대로 정리되어 있습니다: AI Engineering roadmap.

아직 초기 단계라, 진심으로 알고 싶습니다: 어떤 단계가 가장 어려웠는지, 혹은 어떤 것이 빠져 있는지? 댓글로 알려주세요. 저는 모든 댓글을 읽고, 요청이 가장 많은 주제를 다음 글에서 다루겠습니다.