2024년까지 「AI 엔지니어」라고 하면 모델을 학습시키는 사람을 의미했다. 지금은 다르다. LLM의 API를 호출하여 RAG를 구축하고, 에이전트(Agent)를 오케스트레이션하며, 프롬프트를 최적화하여 실무 환경에 적용한다. 요구되는 스킬셋(Skill set)이 완전히 바뀌고 있다.

문제는 이 새로운 스킬셋을 체계적으로 배울 수 있는 일본어 서적이 아직 적다는 점이다. 단편적인 블로그 기사나 LangChain 튜토리얼만으로 진행하다 보면, 동작하는 것은 만들 수 있지만 설계 판단의 근거가 없는 상태가 된다.

이번에 소개하는 5권은 영어권에서 2025년 이후에 출판된 (또는 개정된) AI 엔지니어링의 정석적인 서적들이다. LLM의 메커니즘을 이해하고, RAG를 설계하며, 에이전트를 구축하고, 프롬프트를 프로덕션 품질로 완성하여, 이 모든 것을 프로덕션(Production)에서 운용하는 —— 그 전체상을 혼자서 그려낼 수 있게 되기 위한 5권을 선정했다.

원저: AI Engineering: Building Applications with Foundation Models

저자: Chip Huyen

2026년에 단 한 권의 AI 엔지니어링 책을 읽어야 한다면, 주저 없이 이 책을 추천한다.

저자인 Chip Huyen은 NVIDIA, Netflix에서 툴을 구축하고, Stanford에서 ML 시스템 디자인 강의를 맡고 있으며, Claypot AI를 공동 창업한 인물이다. 그녀의 전작 『Designing Machine Learning Systems』는 지난 기사에서 소개했지만, 본서는 그 속편이 아니라 파운데이션 모델(Foundation Model) 시대의 새로운 교과서다.

이 책이 다루는 것은 파운데이션 모델을 사용한 애플리케이션 구축의 전 과정이다. 프롬프트 엔지니어링(Prompt Engineering), RAG 아키텍처, 파인튜닝(Fine-tuning)의 판단 기준, 평가 파이프라인(AI-as-a-judge 포함), 추론 최적화, 데이터 큐레이션(Data Curation) —— AI 엔지니어링 스택 전체를 조망할 수 있다.

주의할 점은 코드가 적다는 것이다. 튜토리얼 북이 아니라 사고의 프레임워크를 제공하는 책이다. "RAG와 파인튜닝 중 무엇을 선택해야 하는가", "평가는 어떻게 설계할 것인가"와 같은 설계 판단을 내리기 위한 판단 축을 원하는 사람에게 적합하다.

O'Reilly에서 2025년 1월 출시 이후 계속해서 가장 많이 읽히고 있는 책이며, 6개 언어로 번역되어 있다.

이런 사람에게: 소프트웨어 엔지니어에서 AI 엔지니어로 전향하려는 사람. AI 시스템 전체의 설계 판단을 리드하는 위치에 있는 사람.

원저: Build a Large Language Model (From Scratch)

저자: Sebastian Raschka

대부분의 엔지니어는 LLM을 사용하고 있지만, 그 내부를 이해하고 있는 사람은 놀라울 정도로 적다.

저자인 Sebastian Raschka는 10년 이상 AI 연구와 교육에 종사해 온 인물로, Lightning AI에서의 실무 경험과 위스콘신 대학교에서의 교육 경험을 가지고 있다. 그의 ML 관련 저서들은 여러 권의 베스트셀러가 되었다.

이 책에서는 GPT 스타일의 LLM을 PyTorch로 처음부터 구축한다. 토큰화(Tokenization)부터 시작하여 어텐션 메커니즘(Attention Mechanism), 완전한 트랜스포머(Transformer) 아키텍처, 사전 학습(Pre-training), 분류 태스크 및 지시 응답을 위한 파인튜닝까지, 모든 과정을 단계별로 코드로 구현한다.

이것이 왜 중요한가 하면, LLM의 내부 구조를 이해하고 있는지 여부에 따라 트러블슈팅(Troubleshooting)의 질이 완전히 달라지기 때문이다. 프롬프트를 바꿔도 정밀도가 올라가지 않을 때, 모델 내부에서 어떤 일이 일어나고 있는지 상상할 수 있는지 여부는 큰 차이를 만든다.

전제로 Python 중급 기술과 선형대수의 기초가 필요하지만, 코드를 직접 타이핑하며 진행한다면 다 읽을 때쯤에는 LLM이 더 이상 마법의 상자가 아니게 될 것이다.

이런 사람에게: LLM의 내부를 진정으로 이해하고 싶은 사람. "API를 호출하기만 하는" 상태에서 한 단계 더 나아가고 싶은 엔지니어.

원저: Hands-On Large Language Models: Language Understanding and Generation

저자: Jay Alammar & Maarten Grootendorst

Jay Alammar는 Cohere(LLM API 프로바이더 대기업)의 Director 겸 Engineering Fellow이며, 그의 Transformer 해설 블로그는 전 세계 엔지니어들이 읽고 있다. Maarten Grootendorst는 BERTopic 및 KeyBERT의 개발자로, 임상 데이터 사이언티스트로서의 실무 경험도 보유하고 있다.

이 책의 가장 큰 특징은 풍부한 시각 자료다. Transformer 아키텍처, 시맨틱 검색 (Semantic Search) 파이프라인, 파인튜닝 (Fine-tuning) 프로세스 등 모든 것이 도해로 설명된다. 텍스트만으로는 '어렴풋이' 알고 있었던 개념이 그림을 보는 순간 딱 맞아떨어지는 느낌을 준다.

내용은 언어 이해와 생성의 양면을 모두 다룬다. 시맨틱 검색 엔진, 텍스트 분류, 토픽 모델링 (Topic Modeling), 챗봇 구축에 이르기까지 실용적인 프로젝트를 통해 배울 수 있다. RAG (Retrieval-Augmented Generation) 파이프라인 구축 절차도 단계별로 해설되어 있다.

②번 Raschka의 책이 '밑바닥부터 쌓아 올리는' 접근 방식이라면, 이 책은 '사용하는 관점에서 이해를 심화하는' 접근 방식이다. 시각적으로 학습하는 것이 더 머리에 잘 들어오는 사람에게는 이 책이 더 잘 맞을 것이다.

이런 분들께 추천: 그림으로 이해하고 싶은 분. 시맨틱 검색이나 RAG를 구현하고 싶은 분. 텍스트 중심의 책을 읽다가 좌절한 경험이 있는 분.

원서: LLM Engineer's Handbook: Master the art of engineering large language models from concept to production

저자: Paul Iusztin & Maxime Labonne

프로토타입은 만들 수 있다. 하지만 이를 프로덕션 환경 (Production Environment)에 올리려고 하면 갑자기 아무것도 모르게 된다. 이 책은 바로 그 벽을 허물기 위해 쓰였다.

저자인 Paul Iusztin은 Metaphysic, CoreAI 등에서 생성형 AI와 컴퓨터 비전 (Computer Vision) 제품을 구축해 온 시니어 AI 엔지니어다. 그의 오픈소스 프로젝트인 'LLM Twin'(자신만의 AI 버전을 만드는 프로젝트)을 기반으로, 데이터 수집부터 AWS 배포까지 엔드 투 엔드 (End-to-End) LLM 애플리케이션을 구축하는 방법을 다룬다.

이 책이 다루는 범위는 넓다. 데이터 엔지니어링 파이프라인, 피처 스토어 (Feature Store), 선호도 정렬 (Preference Alignment)을 통한 파인튜닝, RAG 구현, 평가 프레임워크, LLMOps 배포 패턴 등을 포함한다. 코드, 아키텍처 도표, 실제 배포 패턴이 모두 갖춰져 있다.

①번 Chip Huyen의 책이 '설계의 사고방식'을 가르쳐준다면, 이 책은 '구체적인 구현과 운영 절차'를 가르쳐준다. 두 권을 모두 읽으면 설계 판단과 그 구현이 연결되어 이해가 단번에 깊어진다.

Python과 AWS에 대한 기초 지식이 전제되어야 한다.

이런 분들께 추천: LLM 애플리케이션을 프로덕션 환경에서 운영할 책임을 맡은 분. '노트북에서 돌아가는 수준'에서 '사용자가 사용하는 수준'으로 나아가고 싶은 분.

원서: Prompt Engineering for LLMs: The Art and Science of Building Large Language Model–Based Applications

저자: John Berryman & Albert Ziegler

프롬프트 엔지니어링 (Prompt Engineering)은 표면적으로는 쉬워 보인다. 하지만 프로덕션 환경에서 스케일링 (Scaling)하려고 하면 아마추어와 프로의 차이가 극명하게 드러난다.

이 책은 '실제 환경에서 작동하는 프롬프트'를 작성하는 엔지니어를 위해 쓰였다. 퓨샷 프롬프팅 (Few-shot Prompting), 생각의 사슬 (Chain-of-Thought) 추론, 비용과 성능을 위한 프롬프트 최적화, 에러 핸들링 (Error Handling) 전략까지 체계적으로 다룬다.

특히 가치 있는 점은 모델 불가지론적 (Model-agnostic) 접근 방식을 취하고 있다는 것이다. OpenAI, Claude, 오픈소스 LLM 등 어떤 모델을 사용하더라도 적용할 수 있는 기술로 해설된다. 특정 API에 의존하지 않으므로, 프로바이더를 교체하더라도 지식이 낭비되지 않는다.

개인적으로 가장 도움이 되었던 부분은 '프롬프트의 로버스트성 (Robustness)'에 관한 장이다. 테스트에서는 완벽하게 작동하던 프롬프트가 프로덕션에서 깨지는 이유와 이를 방지하기 위한 패턴이 체계적으로 정리되어 있다.

이런 분들께 추천: LLM을 활용한 기능을 프로덕션에서 운영 중인 엔지니어. '테스트에서는 작동하는데 프로덕션에서는 정확도가 나오지 않는' 문제로 고민하고 있는 분.

전부 읽을 필요는 없다. 현재 자신의 병목 현상 (Bottleneck)이 어디에 있는지에 따라 선택하면 된다.

• "무엇부터 시작해야 할지 모르겠다" → ①부터
• "LLM의 내부가 블랙박스 상태로 남아있다" → ②부터
• "RAG를 만들고 싶지만 설계를 모르겠다" → ③부터
• "프로토타입은 만들 수 있지만 프로덕션화할 수 없다" → ④부터
• "프롬프트의 정확도가 안정적이지 않다" → ⑤부터