AI 엔지니어가 되기 위해 6개월의 시간이 주어진다면 이렇게 할 것이다

만약 제가 아무것도 모르는 상태에서 AI 엔지니어가 되는 데 6개월의 시간이 주어진다면, 저는 이렇게 할 것입니다.

1단계: 지루하지만 필수적인 기초 다지기 (the boring foundations)

• 학습할 내용: Python, Git, 터미널(terminal), HTTP 및 JSON, 기본적인 SQL, FastAPI
• 실습 내용: 공개 API를 호출하고 깨끗한 JSON을 디스크에 쓰는 CLI 도구 구축
• 이유: AI 엔지니어링은 무엇보다 소프트웨어 엔지니어링이며, 아래의 모든 단계는 작동하는 엔드포인트를 배포할 수 있다는 것을 전제로 합니다.

2단계: LLM 앱 개발 (llm app development)

• 학습할 내용: 프롬프팅(prompting), Pydantic을 사용한 구조화된 출력, 도구 호출(tool calling), 스트리밍(streaming), 대화 상태(conversation state), 토큰 비용(token cost)
• 실습 내용: 유형이 지정된 Python 객체를 반환하는 인보이스 파서(invoice parser)를 구축한 다음, 모델에게 3개의 도구를 제공하고 어떤 것을 선택하게 하는 것
• 이유: 이것이 실제 업무이며, 대부분의 사람들은 이 단계를 건너뛰고 에이전트(agents)로 넘어갑니다.

3단계: RAG 제대로 다루기 (rag, properly)

• 학습할 내용: 임베딩(embeddings), 청킹(chunking), 벡터 스토어(vector stores), 메타데이터 필터링(metadata filtering), 재순위 지정(reranking)
• 실습 내용: 20개의 PDF를 수집하고 상위 5개 청크에서 인용된 답변을 반환하는 엔드포인트를 배포
• 이유: 대부분의 RAG 실패는 검색(retrieval) 실패이기 때문에, 검색 디버깅을 할 수 있는 사람이 돈을 받습니다.

4단계: 에이전트, 워크플로우 및 평가 (agents, workflows and evals)

• 학습할 내용: 에이전트 루프(agent loop), 도구 설명(tool descriptions), 상태(state), 재시도(retries), 그리고 언제 에이전트가 잘못된 호출인지
• 실습 내용: 프레임워크를 전혀 사용하지 않고, 오직 API와 3개의 도구, 그리고 while 루프만으로 하나의 에이전트를 구축
• 이유: 고정된 3번의 호출로 이루어진 체인(chain)은 3번을 시도할 수도 있는 에이전트보다 낫고, 어떤 것을 필요로 하는지 아는 것이 시니어 레벨입니다.

5단계: 배포 및 신뢰성 (deployment and reliability)

• 학습할 내용: Docker, 백그라운드 작업(background jobs), 인증(auth), 속도 제한(rate limits), Langfuse를 사용한 추적(tracing), 캐싱(caching), 비용 제어(cost control)
• 실습 내용: 벡터 DB와 Redis를 사용하여 RAG 앱을 컨테이너화하고, 여기에 일일 지출 상한선을 설정
• 이유: 대부분의 사람들이 주춤하는 곳이 바로 여기입니다. 데모는 할 수 있지만 새벽 2시의 실제 트래픽을 견딜 수는 없습니다.

6단계: 한 분야 선택하기 (pick one lane)

• 학습할 내용: 제품 엔지니어링(product engineering), 응용 ML(applied ml), 또는 비즈니스 자동화(business automation)
• 실습 내용: 낯선 사람이 아무 설명 없이 열어서 사용할 수 있는 프로젝트 2~3개를 배포
• 이유: 6개월은 세 분야에서 평균적인 수준이 되게 하는 것이 아니라, 한 방향에서 위험할 정도로 깊게 만듭니다.

모델을 학습시킬 필요는 없습니다.

당신은 그것들 위에 시스템을 구축해야 하며, 이것이 바로 회사들이 실제로 비용을 지불하는 부분입니다.

각 단계별 모든 자료와 링크를 담아 전체 버전을 작성했습니다.

따라서, 만약 당신이 초보자이고 6개월 전에 이 글을 건너뛰었다면, 아래 내용을 읽어보세요: