내가 AI 엔지니어링 영역에 본격적으로 발을 들인 것은 2024년 후반이었다. 그전까지는 백엔드 중심의 개발을 해왔으나, 사내에서 LLM을 사용한 프로덕트를 런칭하게 되면서 어쩔 수 없이 이 세계로 끌려 들어왔다.

첫 번째 벽은 "무엇부터 배워야 할지 모르겠다"는 것이었다. 논문을 읽어도 구현으로 옮기지 못한다. 튜토리얼을 필사(Code Copying)해도 실무에서 어떻게 움직일지 이미지가 그려지지 않는다. YouTube 영상은 단편적이라 체계적인 이해에는 미치지 못한다.

결국 나를 구한 것은 서적이었다. 차분히 앉아 책 한 권을 통독하면, 흩어져 있던 지식이 하나의 선으로 연결되는 감각이 있다. 지난 1년 반 동안 15권 이상을 읽고 실무에서 검증해 온 것들 중, 일본어로 읽을 수 있는 것을 중심으로 5권을 엄선했다.

선정 기준은 세 가지다. 프로덕션 지향적일 것, 코드와 도표가 풍부하여 직접 손을 움직이며 읽을 수 있을 것, 그리고 "전체상 파악 → 심화 학습 → 실전"의 흐름을 만들 수 있을 것. 이 순서대로 읽는다면 AI 엔지니어로서 실무 환경에서 경쟁할 수 있는 힘을 최단 기간에 갖출 수 있다고 생각한다.

Chip Huyen은 Stanford 출신으로, Snorkel AI나 Netflix에서 ML 시스템 구축에 참여해 온 실무가다. MLOps나 AI 시스템 설계 분야에서 세계적으로 알려져 있다.

이 책은 기반 모델(Foundation Model)을 활용한 애플리케이션 개발의 전체상을 보여준다. 추론(Inference) 최적화, 평가 방법론, 배포(Deployment), 모니터링(Monitoring) 등 실무 운용에서 반드시 부딪히는 과제들을 망라하여 다루고 있다.

모델을 학습시키는 측의 이야기보다, 이미 존재하는 모델을 어떻게 잘 활용할지에 초점이 맞춰져 있다는 점이 특징적이다. 우리와 같은 애플리케이션 개발자가 LLM을 도입할 때 직면하는 문제들을 실제 사례를 바탕으로 해설해 준다.

일본어 번역판이 나와 있어 영어가 장벽이 될 일도 없다. AI 엔지니어링의 지도를 손에 넣기 위한 첫 번째 책으로 최적이라고 느낀다.

이런 분께 추천: LLM을 사용한 프로덕트 개발을 이제 시작하려는 개발자, 전체상을 조망하고 싶은 분

마찬가지로 Chip Huyen의 저작이지만, 이 책은 ML 시스템 전반의 라이프사이클을 다룬다. 데이터 엔지니어링(Data Engineering), 모델 개발, 배포, 감시, 스케일링(Scaling)까지 일관되게 배울 수 있다.

LLM 시대가 되어도 데이터 파이프라인(Data Pipeline) 설계나 A/B 테스트의 사고방식, 피드백 루프(Feedback Loop) 구축은 변함없이 중요하다. 오히려 RAG나 파인튜닝(Fine-tuning)을 실제 운용에 적용하려 하면, 이 책에서 다루는 설계 원칙이 그대로 유효하게 작용한다.

나는 ①을 읽은 후에 이 책을 읽으며, "왜 저 설계 판단이 베스트 프랙티스(Best Practice)로 여겨지는가"에 대한 배경을 이해할 수 있었다. 순서가 바뀌어도 문제는 없지만, ①에서 전체상을 잡고 나서 읽으면 흡수 속도가 다르다.

ML 시스템의 기반 지식은 AI 엔지니어의 무기가 된다. 유행에 휘둘리지 않는 토대를 다지고 싶다면 이곳을 짚고 넘어가야 한다.

이런 분께 추천: ML 기반의 설계 원칙을 체계적으로 배우고 싶은 엔지니어, 데이터 파이프라인이나 모니터링에 과제를 느끼고 있는 분

John Berryman과 Albert Ziegler는 GitHub Copilot 개발에 직접 참여한 엔지니어들이다. 프롬프트 설계(Prompt Design)의 시행착오를 최전선에서 쌓아온 인물들이 쓰고 있다.

Chain of Thought나 Few-Shot Learning, Self-Consistency와 같은 고도의 프롬프트 기법을 실제 애플리케이션 개발 맥락에서 해설한다. 단순한 프롬프트 모음집과는 궤를 달리하며, 왜 그 구조가 유효한지를 엔지니어링 관점에서 설명해 준다.

내가 특히 깊게 공감한 부분은 프롬프트 최적화를 체계적으로 진행하는 방법론이다. 감각에 의존하지 않고 재현 가능한 접근 방식으로 프롬프트 품질을 높여가는 사고방식은 실무에서 즉시 활용할 수 있었다.

모델의 성능을 끌어내는 것은 코드를 작성하는 것만큼이나 중요한 기술이 되었다. LLM을 사용하는 모든 개발자가 읽기를 권한다.

이런 분께 추천: LLM의 출력 품질로 고민하는 개발자, 프롬프트 설계를 체계적으로 배우고 싶은 분

James Phoenix는 AI 개발 컨설턴트, Mike Taylor는 마케팅 × AI 실천가로 알려져 있다.

③이 엔지니어를 위해 심화 학습을 제공한다면, 이 책은 조금 더 넓은 독자층을 상정하고 있다. 개발자뿐만 아니라 프로덕트 매니저(PM)나 분석가가 LLM으로부터 더 나은 결과를 이끌어내기 위한 실전 프레임워크를 제공한다.

"보편적인 입력의 원칙"이라는 제목 그대로, 특정 모델에 의존하지 않는 범용적인 프롬프트 설계 사고방식을 익힐 수 있다. 모델이 바뀌어도 통용되는 원칙을 파악할 수 있다는 것이 강점이다.

③와 함께 읽으면 프롬프트 엔지니어링 (Prompt Engineering)의 이론과 실전을 양면에서 다룰 수 있다. 한 권만 읽는다면, 코드 기반의 개발자는 ③을, 팀 전체의 역량 강화를 목표로 한다면 ④를 선택하는 것이 좋다.

이런 분께 추천: 비엔지니어를 포함한 팀 내에서 프롬프트 설계의 공통 언어를 갖고 싶은 사람, 모델에 의존하지 않는 프롬프트 원칙을 익히고 싶은 사람

⑤ LLMs in Production: From language models to successful products — Christopher Brousseau, Matt Sharp

Christopher Brousseau와 Matt Sharp는 LLM을 프로덕션 환경에서 운용해 온 엔지니어들이다. 엔터프라이즈 규모의 AI 시스템 구축 경험을 보유하고 있다.

책 제목 그대로, LLM을 프로덕션에서 구동하는 것에 완전히 특화되어 있다. 배포 (Deployment), 운용 모니터링 (Monitoring), 스케일링 (Scaling), 비용 관리 (Cost Management), 신뢰성 확보를 다룬다. 프로토타입에서 프로덕션으로 전환할 때 발생하는 현실적인 문제들을 정면으로 다루고 있다.

내 팀이 바로 이 단계에서 어려움을 겪고 있었을 때, 이 책의 아키텍처 패턴 (Architecture Pattern)으로부터 여러 번 도움을 받았다. 특히 비용 최적화 장은 경영진에게 설명하기 위한 자료로 사용할 수 있을 정도로 구체적이다.

①~④를 통해 지식을 쌓은 후, 막상 프로덕션에 투입해야 하는 시점에 읽으면 효과가 극대화된다.

이런 분께 추천: LLM 애플리케이션을 프로덕션 환경에서 운용하는 단계에 있는 엔지니어, 엔터프라이즈용 AI 시스템 설계자

현재의 과제별로 한 권을 고른다면:

• LLM 앱 개발을 무엇부터 시작해야 할지 모르겠다 → ①
• 데이터 파이프라인 (Data Pipeline)이나 모니터링 설계에 자신이 없다 → ②
• 프롬프트 품질이 안정적이지 않다 → ③
• 팀 전체의 AI 활용 수준을 높이고 싶다 → ④
• 프로토타입은 작동하지만 프로덕션 전환에서 막히고 있다 → ⑤

AI 세계는 도구도 모델도 빠르게 교체된다. 그렇기에 더욱 원리 원칙을 서적으로 다져두는 가치가 있다. 유행만을 쫓아서는 실력이 쌓이지 않는다. 기초가 탄탄한 학습이 반년 뒤의 자신을 확실히 편하게 만들어 줄 것이다.