나는 작년부터 LLM (Large Language Model)을 포함한 사내 도구 개발에 참여하고 있다. 처음에는 API를 호출하여 응답을 반환하는 간단한 구조였으나, 실제 운영(Production)이 시작되자 예상치 못한 문제들이 차례차례 발생했다. 모델의 출력 품질이 날마다 들쭉날쭉하고, 레이턴시(Latency)가 허용 범위를 초과하며, 비용이 월간 예산을 잡아먹는다. 프로토타입을 구동하는 것과 프로덕션에서 안정적으로 가동시키는 것은 완전히 다른 업무라는 것을 뼈저리게 느꼈다.

이러한 벽에 부딪힐 때마다 단편적인 블로그 기사나 Twitter의 정보만으로는 대처하기 어려운 상황이 늘어났다. 체계적인 지식 없이 임기응변식으로 대응하다 보면 설계 판단의 기준이 흔들린다. 결국, 시간을 내어 책을 깊이 있게 읽은 것이 전환점이 되었다.

AI 관련 서적은 대량으로 출판되고 있지만, 실제로 프로덕션 개발에 도움이 되는 것은 한정되어 있다. 이론으로만 끝나는 책, 정보가 너무 오래된 책, 너무 추상적이어서 손을 움직일 수 없는 책. 그러한 것들을 제외하고, 내가 실제로 읽고 "이것은 현장에서 쓸 수 있다"라고 확신한 5권을 소개한다.

프로토타입에서 본방 운영으로의 격차를 메우고 싶은 사람, LLM 애플리케이션 개발의 전체상을 파악하고 싶은 사람을 위해 작성했다. 전체상 파악부터 시작하여, LLM의 내부 이해, 프롬프트 설계 (Prompt Design), 에이전트 구축, 그리고 확장 가능한 시스템 설계로 단계적으로 나아갈 수 있도록 배열했다.

Chip Huyen은 Stanford 출신으로, Snorkel AI나 Netflix에서 ML (Machine Learning) 시스템 구축에 참여해 온 엔지니어다. 전작 「Designing Machine Learning Systems」도 높은 평가를 받고 있다.

이 책은 모델 그 자체에 대한 연구가 아니라, 파운데이션 모델 (Foundation Model)을 사용한 애플리케이션을 어떻게 설계, 구축, 운영할지에 초점을 맞추고 있다. 데이터 파이프라인 설계, 모델 평가 방법, 배포 전략, 모니터링까지 AI 앱의 개발 라이프사이클 전체를 다룬다.

특히 인상 깊었던 점은 모델 선정의 의사결정 프레임워크와 본방 환경에서의 모델 성능 저하(Model Degradation)에 대한 대처법을 체계적으로 정리하고 있다는 점이다. 내가 바로 직면하고 있었던 "작동은 하지만 품질이 안정적이지 않다"라는 문제에 대한 해상도가 단번에 높아졌다.

일본어판이 나와 있어 영어의 장벽 없이 읽어 내려갈 수 있다는 점도 크다. AI 엔지니어링이라는 영역의 지도를 얻기 위한 한 권으로서, 가장 먼저 읽어야 할 책이라고 생각한다.

이런 분들께: LLM 앱을 본방 운영하고 싶지만, 설계의 전체상이 보이지 않는 엔지니어

Jay Alammar는 「The Illustrated Transformer」 등의 도해 기사로 세계적으로 알려진 ML 엔지니어다. Maarten Grootendorst는 토픽 모델링 (Topic Modeling) 라이브러리인 BERTopic의 개발자다.

이 책의 특징은 무엇보다 그림이 많다는 것이다. Transformer 아키텍처, Attention 메커니즘, 토크나이제이션 (Tokenization)과 같은 LLM의 근간 기술을 시각적으로 이해할 수 있는 구성으로 되어 있다. Hugging Face 에코시스템을 사용한 구현 예시도 풍부하여, 읽으면서 직접 손을 움직일 수 있다.

파인튜닝 (Fine-tuning) 실전 파트가 특히 유용했다. LoRA나 QLoRA를 사용한 효율적인 학습 기법이 코드와 함께 해설되어 있다. 모델의 내부를 블랙박스 상태로 사용하는 것과 내부 구조를 이해한 상태에서 사용하는 것은 트러블슈팅 (Troubleshooting) 속도에서 큰 차이가 난다.

주의할 점으로, 이 책은 파운데이션 모델의 구조 이해에 무게를 두고 있기 때문에 애플리케이션 설계나 인프라 이야기는 적다. ①의 서적과 함께 읽으면 이론과 실전의 균형을 맞출 수 있다.

이런 분들께: LLM의 내부를 이해한 상태에서 앱을 만들고 싶은, 직접 손을 움직이며 배우는 것을 좋아하는 엔지니어

John Berryman과 Albert Ziegler는 GitHub Copilot 개발에 직접 참여한 엔지니어들이다. 세계에서 가장 많이 사용되는 LLM 애플리케이션 중 하나를 만든 당사자의 지견은 다른 서적에서는 얻을 수 없다.

프롬프트 설계를 패턴으로서 체계화한 것이 이 책의 강점이다. Chain-of-Thought, Few-shot, Self-consistency와 같은 기법을 단순한 테크닉 모음이 아니라 "왜 효과가 있는가"부터 해설하고 있다. 애플리케이션에 프롬프트를組み込む(組み込む, 포함하는)際の 설계 원칙도 구체적이다.

내가 특히 참고가 된 것은 프롬프트 평가 방법에 관한 장이다. 프롬프트를 변경했을 때 회귀 (Regression)를 감지하는 메커니즘이나 A/B 테스트 설계 방법 등, 본방 환경에서 지속적으로 프롬프트를 개선해 나가기 위한 방법론이 가득 담겨 있다.

프롬프트 엔지니어링 (Prompt Engineering)은 '어쩌다 보니 잘 작동하는 프롬프트를 찾는' 작업이 아니다. 이 책은 재현 가능한 공학적 프로세스로 파악하기 위한 토대를 제공한다.

이런 분께: LLM 애플리케이션의 프롬프트 설계를 개인의 시행착오로부터 탈피시키고 싶은 엔지니어

Anjanava Biswas와 Wrick Talukdar는 AWS에서 AI 솔루션 설계에 참여해 온 엔지니어들이다. 대규모 클라우드 환경에서의 AI 시스템 구축 경험이 이 책에 반영되어 있다.

2026년 현재, AI 에이전트 (AI Agent)는 버즈워드를 넘어 실용 단계에 진입하고 있다. 이 책은 에이전트가 '추론하고, 계획을 세우고, 도구를 사용하여 행동하기' 위한 설계 패턴을 해설한다. LangGraph 등의 프레임워크를 이용한 구체적인 구현 예시도 포함되어 있다.

멀티 에이전트 (Multi-agent)의 협업, 메모리 관리, 도구 호출 (Tool Calling)의 에러 핸들링 등, 단순한 RAG (Retrieval-Augmented Generation) 그 너머의 과제를 다루고 있다는 점이 가치 있다. 자신의 팀에서도 에이전트적인 워크플로우 도입을 검토하던 타이밍에 읽었기에, 설계의 선택지가 명확해졌다.

영어뿐이지만 코드 예시가 풍부하여 구현 경험이 있다면 읽어나갈 수 있다. 에이전트 AI 설계에 본격적으로 뛰어들기 전의 필독서다.

이런 분께: RAG의 다음 단계로서 AI 에이전트 구축에 도전하고 싶은 엔지니어

Thomas R. Caldwell는 엔터프라이즈용 AI 시스템의 설계 및 스케일링 (Scaling)을 전문으로 하는 시니어 엔지니어다.

이 책은 제목 그대로 '바이블'과 같은 포괄성을 가진다. 아키텍처 설계, 인프라 구축, CI/CD 파이프라인, 모니터링, 비용 최적화까지, 프로덕션 AI 시스템 구축에 필요한 요소를 처음부터 끝까지 다룬다.

개별 토픽의 깊이 면에서는 전문서에 뒤처지는 부분도 있지만, 전체를 조망하는 레퍼런스 (Reference)로서의 가치가 높다. 테크 리드 (Tech Lead)나 아키텍트 (Architect)가 설계 판단을 내릴 때, 놓친 것이 없는지 체크리스트처럼 사용할 수 있다.

나는 책상 옆에 두고 설계 리뷰 전에 해당 장을 빠르게 훑어보는 방식으로 활용하고 있다. 통독보다는 사전적인 참조에 적합한 한 권이다.

이런 분께: AI 시스템 전체의 아키텍처 판단을 맡는 시니어 엔지니어 또는 테크 리드

현재의 과제별로 한 권을 고른다면:

• LLM 애플리케이션을 만들기 시작하고 싶지만 무엇부터 손대야 할지 모르겠다 → ①
• 모델의 동작을 이해하지 못해 디버깅에 시간이 걸린다 → ②
• 프롬프트 품질 관리를 체계화하고 싶다 → ③
• 에이전트적인 워크플로우를 설계하고 싶다 → ④
• 팀 전체의 AI 시스템 설계 역량을 끌어올리고 싶다 → ⑤

어느 책이든 '읽고 끝내는 것'이 아니라, 자신의 프로젝트에 하나라도 적용해 봄으로써 비로소 자신의 것으로 만들 수 있다. 5권 모두를 한꺼번에 읽을 필요는 없다. 지금 가장 뼈아픈 과제에 대응하는 한 권부터 시작하기를 바란다.