내가 AI 관련 업무를 시작한 지 2년 정도 되었을 때, 사내에서 작은 사건이 있었다. 정밀도(Accuracy)도 추론 속도도 충분한 모델을 운영 환경(Production Environment)에 배포했는데, 현장의 오퍼레이터가 아무도 사용해주지 않는 것이다. 대시보드의 로그를 보니, 첫 접속 후 3일 뒤에는 활성 사용자(Active User)가 0명이 되어 있었다.

원인을 찾아보니, 출력의 의미를 모르겠다거나 어떻게 업무에 도입해야 할지 감이 잡히지 않는다는 목소리뿐이었다. 기술적으로는 잘 작동하고 있었다. 하지만 '사용되지 않는 AI'는 존재하지 않는 것과 마찬가지다.

이 경험을 통해, 나에게 부족한 것은 모델의 정밀도를 높이는 능력이 아니라, 시스템 전체를 조망하는 시점이나 인간의 인지·행동을 이해하는 능력이라는 것을 뼈저리게 느꼈다. 그때부터 기술서 이외의 책을 의식적으로 읽기 시작했고, 일하는 방식이 크게 바뀌었다.

이번에는 AI 엔지니어로 일하면서 실제로 도움이 되었던 5권을 소개한다. 모두 AI 교과서는 아니지만, AI를 현실 세계에서 기능하게 만들기 위해 필수적인 지견이 담겨 있다.

도네라 메도우스(Donella Meadows)는 환경 과학자이며, 「성장의 한계」의 주저자로 알려져 있다. 시스템 다이내믹스(System Dynamics)의 권위자다.

이 책은 피드백 루프(Feedback Loop), 지연(Delay), 스톡과 플로우(Stock and Flow)와 같은 개념을 통해 세상을 '시스템'으로 파악하는 방법을 가르쳐 준다. AI 엔지니어에게 중요한 것은 자신이 만든 모델이 배포될 환경에서 어떤 파급 효과를 낳을지 예측하는 능력이다. 추천 모델이 사용자 행동을 변화시키고, 그 행동 변화가 다시 모델의 학습 데이터에 영향을 미친다. 이러한 피드백 루프를 사전에 간파할 수 있느냐에 따라 프로젝트의 성패가 갈린다.

나는 이 책을 읽은 후부터 설계 단계에서 반드시 '이 모델이 개입하는 시스템의 구조도'를 그리게 되었다. 이해관계자(Stakeholder), 데이터의 흐름, 인간의 의사결정 포인트를 가시화하는 것만으로도 예상치 못한 부작용을 사전에 차단할 확률이 높아진다.

추상도가 높은 책이므로 구체적인 AI 사례는 스스로 대입하며 읽을 필요가 있다. 하지만 그 사고 훈련 자체가 가치가 된다.

이런 분께: 모델 단독의 정밀도는 낼 수 있지만, 운영 환경에서 예상치 못한 거동으로 고민하는 엔지니어

D.A. 노먼(D.A. Norman)은 인지 과학자이며, Apple의 VP를 역임한 경력도 있다. 사용자 중심 설계(User-Centered Design)의 개념을 확산시킨 인물이다.

문의 방향을 잘못 잡는 것은 사용자의 잘못이 아니라 설계의 잘못이다——이 원칙은 AI 시스템에도 그대로 적용된다. 모델의 출력을 어떻게 제시할지, 신뢰도를 어떻게 전달할지, 에러 발생 시 어떤 피드백을 줄지. 이러한 설계 판단이 사용자의 신뢰와 이용률을 결정한다.

내가 서두에 언급한 '아무도 사용하지 않는 AI'를 만들어 버린 원인은 바로 여기에 있었다. 사용자의 멘탈 모델(Mental Model)을 고려하지 않고, 엔지니어의 편의에 따라 출력 형식을 결정했었다. 이 책을 읽은 후부터는 프로토타입 단계에서 반드시 비기술자에게 사용해 보게 하고, 그들의 이해와 실제 동작 사이의 격차를 관찰하도록 하고 있다.

1988년 초판부터 읽혀 내려오는 고전이지만, 증보 개정판에서는 디지털 프로덕트 사례도 추가되어 있어 시대에 뒤떨어진 느낌이 들지 않는다.

이런 분께: 만든 제품의 이용률이 낮거나, 사용자로부터 '알기 어렵다'는 말을 자주 듣는 엔지니어

캐시 오닐(Cathy O'Neil)은 하버드에서 수학 박사 학위를 취득한 후, 헤지펀드에서 퀀트(Quant)로 일한 경험이 있는 데이터 사이언티스트다.

예측적 치안 유지(Predictive Policing), 채용 알고리즘, 신용 점수 산정(Credit Scoring)——언뜻 중립적으로 보이는 모델이 어떻게 사회적 약자를 불리한 입장으로 몰아넣는지를 구체적인 케이스로 폭로한다. 엔지니어로서 읽으면 등골이 서늘해진다. 내가 최적화하고 있는 지표는 정말 최적화해야 할 대상인가. 학습 데이터에 내재된 편향(Bias)을 놓치고 있지는 않은가.

나는 이 책을 읽은 후부터 프로젝트 초기 단계에 공정성 지표(Fairness Metric)의 정의를 팀에서 논의하는 습관을 들였다. 정밀도만을 쫓는 개발에서 영향 범위를 내다보는 개발로 의식이 바뀐 것은 큰 변화다.

일본어판 제목이 다소 자극적이지만, 내용은 냉철하고 논리적이다. 윤리의 교과서로서 추상론을 늘어놓는 것이 아니라, 실제 데이터와 실제 시스템의 이야기이기에 엔지니어에게 설득력이 있다.

이런 분께: 공정성이나 편향 문제를 '나의 문제'로 받아들이고 싶은 엔지니어

에릭 리스(Eric Ries)는 연속 창업가로, 도요타 생산 방식의 사상을 스타트업에 적용한 '린(Lean)' 방법론의 제창자이다.

'구축→측정→학습'의 루프를 고속으로 돌린다는 컨셉은 AI 프로젝트와 궁합이 좋다. 모델 개발은 불확실성이 높아서, 3개월 동안 공들여 만든 모델이 고객의 니즈와 어긋나 있었다는 이야기는 흔하다. 최소한의 검증 가능한 제품(MVP)을 빠르게 내놓고 가설을 검증한다. 이 사고방식을 가지고 있느냐에 따라 프로젝트의 성공률이 달라진다.

나의 경우, 이전에는 정확도를 0.1% 올리는 데 몇 주를 허비하곤 했다. 하지만 정말로 필요했던 것은 "애초에 이 태스크(Task) 설정이 올바른가"를 조기에 확인하는 것이었다. 린(Lean) 사고방식을 도입한 이후로는, 간이 베이스라인 모델(Baseline Model)을 1주일 만에 만들어 사용자에게 보여주고 방향성을 확인하는 스타일로 전환했다.

창업가를 위한 책이지만, 사내 AI 프로젝트에도 충분히 응용할 수 있다. 특히 "무엇을 만들 것인가"에 대한 의사결정권이 팀에 있다면 필독해야 한다.

이런 분께: 개발에 너무 많은 시간을 들여 재작업(Rework)이 많은 엔지니어, 요구사항 정의(Requirement Definition) 단계에서 자주 막히는 엔지니어

데이비드 엡스타인(David Epstein)은 스포츠 과학 저널리스트로 커리어를 시작하여, 전문성과 범용성의 관계를 연구해 온 작가다.

조기 전문화보다 폭넓은 경험을 쌓은 제너럴리스트(Generalist)가 복잡하고 예측 불가능한 영역에서 성과를 내기 쉽다—이 책의 주장은 AI 분야에 그대로 적용된다. AI 엔지니어링은 통계학, 소프트웨어 공학, 도메인 지식(Domain Knowledge), 윤리, 디자인 등 다수 영역의 교차점에 있는 일이다. 한 분야만 깊게 파고든다고 해서 현실의 문제를 해결할 수 있는 것은 아니다.

나 또한 이전에는 "딥러닝(Deep Learning) 논문을 쫓는 것"이 성장이라고 믿었다. 하지만 돌이켜보면 인지 과학이나 행동 경제학을 배웠던 시기에 실무에서의 제안 품질이 더 높아졌다. 서로 다른 분야의 지견을 결합함으로써 동료들과는 다른 각도에서 문제를 정의할 수 있게 된다.

이 책은 "이제 와서 다른 분야를 배워도 늦지 않을까"라는 불안을 불식시켜 준다. 늦지 않았다. 오히려 그것이 강점이 된다.

이런 분께: 기술 스택(Tech Stack)은 깊지만, 프로젝트 전체를 조망하거나 상류 공정(Upstream Process)에서 발언하는 능력이 약하다고 느끼는 엔지니어

5권의 책을 "전체상 파악 → 설계 품질 향상 → 실천의 가속"이라는 흐름으로 정리한다.

현재의 과제별로 한 권을 고른다면:

• 운영 환경 배포(Production Deployment) 후 예상치 못한 문제가 빈번하게 발생한다 → 「세계는 시스템으로 움직인다」
• 만든 모델을 사용자가 사용해주지 않는다 → 「누구를 위한 디자인인가?」
• 공정성이나 리스크 평가를 요구받지만 요점을 모르겠다 → 「AI·빅데이터의 함정」
• 개발 기간이 길어지고 재작업이 많다 → 「린 스타트업 (Lean Startup)」
• 기술은 따라가고 있지만 커리어의 폭이 넓어지지 않는다 → 「RANGE」

기술력은 물론 전제 조건이다. 하지만 AI 엔지니어로서 신뢰받는 존재가 되기 위해서는 기술 외부에 있는 지견이 결정적인 역할을 한다. 여기서 언급한 5권의 책은 그를 위한 첫걸음으로서 충분히 기능할 것이다.