도서 리뷰: 고위험 분야를 위한 기계 학습 — 책임 있는 AI 구축을 위한 실천적 접근

기계 학습의 '정확도'를 높이는 책은 셀 수 없이 많지만, '그 기계 학습 시스템이 현실 세계에서 사람에게 해를 끼치지 않을까'를 정면으로 다루는 책은 많지 않습니다.

이번에 읽은 『고위험 분야를 위한 기계 학습 — 책임 있는 AI 구축을 위한 실천적 접근』(Patrick Hall, James Curtis, Parul Pandey 저 / 고에스 쿠룬, 이토 다이아키, 소노다 미카오, 기타조 타카카지, 이시카와 타이치 역, 오라일리 재팬, 2025년)은 바로 그 영역을 다룬 책입니다.

원저(原著)는 Machine Learning for High-Risk Applications (O'Reilly, 2023)이며, 일본어 번역본은 2025년에 출간됩니다.

본 기사에서는 설계 및 아키텍처에 관심 있는 엔지니어를 위해 이 책의 구성과 주요 논점, 그리고 현장에 가져갈 수 있는 사고방식을 정리합니다.

구체적으로는 다음과 같은 영역입니다.

• 생체 인증에 의한 식별
• 중요 인프라 관리
• 교육
• 고용
• 공공 및 민간 필수 서비스
• 법 집행
• 이민 및 국경 관리
• 형사 사법
• 민주적 과정

즉, '멈추면 곤란한' 영역이 아니라, '잘못되면 사람의 인생이 바뀌는' 영역입니다.

이러한 영역에서 자주 사용되는 기술에 초점을 맞추고 있기 때문에, 이 책이 다루는 모델은 주로 컴퓨터 비전과 표 형식 데이터에 대한 트리 기반 모델입니다.

참고로 이 책은 비지도 학습(unsupervised learning), 검색(search), 추천(recommender), 강화학습 (RL), 생성 AI에는 깊이 파고들지 않습니다. 이는 저자가 의도적으로 설정한 범위 제한으로, '오류 모드, 완화책, 제어 기법이 충분히 확립되지 않은 모델을 사용하는 것 자체가 위험을 증가시킨다'는 입장이 배경에 있습니다.

이러한 포기는 개인적으로는 오히려 성실하다고 느꼈습니다.

이 책은 3부 구성입니다. 개념, 법규제, 조직 프로세스 등 이론과 배경을 다룹니다. 각 장의 말미에는 실제로 발생했던 인시던트 사례 분석이 붙어 있습니다.

제1부의 내용을 Python 코드 예제로 직접 손으로 확인합니다. XGBoost / EBM을 사용한 표 형식 데이터의 사례와 PyTorch를 사용한 이미지 분류의 사례가 번갈아 등장합니다.

기술과 거버넌스를 넘어선, 사회 기술적인 교훈을 정리하고 있습니다.

이 책의 특징으로 두드러지는 것은 NIST의 AI Risk Management Framework (AI RMF)와의 대응 관계를 명시하고 있다는 점입니다.

제1부 각 장의 도입부에는 그 장의 내용이 AI RMF의 4가지 핵심 기능(Govern / Map / Measure / Manage) 중 어느 하위 카테고리에 해당하는지 보여주는 크로스워크 테이블이 놓여 있습니다.

'책임 있는 AI'라는 단어는 추상적이 되기 쉽지만, 외부의 권위 있는 표준에 매핑되어 있기 때문에 장별 주장이 '저자의 의견'이 아니라 '업계 표준에 묶인 실천'처럼 읽힐 수 있게 합니다.

이러한 접근 방식 자체가 설계 문서를 작성할 때 참고가 됩니다. 자신의 설계 판단을 외부 표준의 어느 항목에 연결하여 설명할 것인가 하는 발상입니다.

법규제의 개관부터 시작합니다. EU의 AI 규칙, 미국 연방법(시민권법, ECOA, FCRA, FHA 등), 주/지자체 법률, 그리고 제조물 책임법까지를 다룹니다.

특히 인상적이었던 것은 **핸드 룰(Hand Rule)**의 소개입니다. 1947년 랜드-핸 판사에게서 유래한 과실 판단 기준으로, 요컨대 '주의를 기울이는 비용은 예상되는 사고의 비용(발생 확률 × 손실)을 초과해서는 안 된다'는 생각입니다.

이를 기계 학습 시스템에 적용하면 다음과 같습니다.

인시던트 발생 확률이 높거나, 또는 손실액이 큰 시스템에는 그에 걸맞은 리소스(시간/자금/노력)를 안전성 확보에 투입해야 하며, 또한 이를 문서화해 두어야 합니다.

'어디까지 테스트해야 하는가'라는 영원한 질문에 대해 하나의 판단 축을 제공하는 생각이라고 느꼈습니다.

또한 본 장에서는 모델 리스크 관리(Model Risk Management, MRM) 프로세스가 자세히 소개됩니다.

• 위험의 계층화
• 모델 문서화
• 모델 모니터링
• 모델 인벤토리
• 시스템 검증 및 프로세스 감사
• 변경 관리

나아가 MRM을 넘어선 실천으로 다음과 같은 것들이 언급됩니다.

• 모델 감사 및 평가
• 영향 평가
• 이의 제기, 무효화, 옵트아웃
• 페어 프로그래밍/더블 프로그래밍
• 최소 권한 원칙
• 버그 바운티 프로그램
• 인시던트 대응

이 목록을 보고 알 수 있는 것은, 보안 분야의 실천 방식이 거의 그대로 가져와졌다는 것입니다. 버그 바운티, 인시던트 대응, 최소 권한. 소프트웨어 세계에서 오랫동안 축적되어 온 '실패를 전제로 한 설계'를 기계 학습 거버넌스에 적용하려는 발상이 이 책의 핵심을 이루고 있습니다.

1장의 마무리는 부동산 테크 기업 Zillow의 iBuying 사업 실패 사례입니다.

이 회사는 원래 지역 부동산 중개업자의 평가액과 Zestimate 알고리즘을 결합하고, 전문가 팀이 검토한 후 오퍼를 제시했습니다. 하지만 속도와 규모를 우선시하여 전문가 팀을 폐지하고 순수한 알고리즘 기반으로 전환합니다.

그 결과, 2021년에 5억 달러 이상의 재고 평가액 감소와 약 2,000명의 해고에 이르게 되었습니다.

이 책이 주는 교훈은 세 가지입니다.

• 도메인 전문가와 검증하기 — 보도에 따르면 Zillow는 가격 책정 전문가들에게 알고리즘에 의문을 제기하는 것을 중단하라고 지시했다고 합니다.
• 실패 모드 예측하기 — '리모델링 비용이 2배가 된다면?', '6개월 동안 2% 과잉 구매했다면?'과 같은 질문을 사전에 던지기.
• 거버넌스의 중요성 — 알고리즘의 중요도를 높였음에도 불구하고, 이에 대한 거버넌스는 강화하지 않았습니다.

세 번째는 특히 무겁게 느껴졌습니다. 시스템의 중요도가 높아질 때, 그에 비례하여 감시 및 통제 메커니즘도 함께 높아지고 있는가? 이는 기계 학습뿐만 아니라 모든 시스템에 적용되는 질문입니다.

본 장 초반에서 제시된 주장이 명확합니다.

투명성과 신뢰는 동의어가 아니다.

투명성은 이해를 가능하게 하지만, 이해했다고 해서 반드시 신뢰로 이어지는 것은 아닙니다. 오히려 불충분한 시스템을 깊이 이해할수록 결함이 보여 신뢰도는 떨어집니다.

또한 NIST의 연구에 기반하여, **해석 가능성(interpretability)**과 **설명 가능성(explainability)**을 명확히 구분합니다.

• 설명… 복잡한 프로세스의 각 요소를 구체적이고 상세한 인지 표현으로 파악하는 능력.
• 해석… 입력된 정보를 맥락과 배경 지식을 사용하여 고수준의 의미 있는 인지 표현으로 파악하는 능력.

그리고 '해석 가능성은 설명 가능성보다 훨씬 높은 허들이다'라고 말합니다. SHAP 값을 낼 수 있다고 해서 설명한 것이 되는 것은 아닙니다.

기술적인 측면에서는 다음 내용들이 다루어집니다.

설명 가능한 모델

• 페널티가 적용된 회귀(Penalty-付き回帰)
• 일반화 가법 모델(GAM, Generalized Additive Model)
• GA2M 및 설명 가능한 부스팅 머신(EBM, Explainable Boosting Machine)
• 단일 결정 트리
• 제약 조건이 있는 XGBoost 모델

사후 설명 (Post Hoc) 설명

• 특성 기여도와 특성의 중요도 (국소/전역)
• 대리 모델(결정 트리 대리 모델, LIME, Anchors)
• 부분 의존 플롯과 ICE
• 누적 국소 효과(ALE, Accumulated Local Effect)
• 클러스터 프로파일링

주목할 점은, 저자가 사후 설명 기법에 대해 상당히 비판적이라는 것입니다. '실무상의 고질적인 어려움'이라는 독립된 절을 마련하여 이 분야의 엄밀성 부족과 알려진 문제점들을 지적합니다.

XAI(설명 가능한 AI)를 무조건 찬양하지 않는 태도는 실무자로서 신뢰가 갑니다.

소프트웨어 테스트 개념을 기계 학습에 가져오는 장입니다.

학습 단계에서는 재현성, 데이터 품질, 모델 사양(벤치마크 및 대체 알고리즘, 교정, 구성 요소의 타당성, 가설과 한계, 기본 오차 함수, 다중 비교)이 논의됩니다.

그리고 '일반적인 기계 학습 버그'로서 다음 항목들이 나열됩니다.

• 분포 이동(Distribution Shift)
• 인식적 불확실성과 데이터 희소성
• 불안정성
• 누수(Leakage)
• 반복되는 입력
• 과적합
• 지름길 학습(Shortcut learning)
• 학습 부족
• 사양 부족

이들을 탐지하는 수단으로 잔차 분석(잔차 시각화, 잔차 모델링, 국소 잔차 기여도), 민감도 분석, 벤치마크 모델 등이 소개됩니다.

배포 후에는 도메인 안전성과 모델 모니터링이 다루어집니다.

• 모델 열화와 개념 드리프트(Concept Drift)
• 드리프트를 탐지하고 정리하기
• 여러 KPI의 모니터링
• 범위를 벗어난 값
• 이상 감지 및 벤치마크 모델
  킬 스위치(Kill Switch)

마지막 '킬 스위치(Kill Switch)' 항목 자체가 이 책의 태도를 상징합니다. 멈출 수 없는 시스템은 고위험 영역에 배포해서는 안 된다는 의미입니다.

이 장의 사례는 자율주행 Uber 차량의 사망 사고입니다.

본서에서 가장 많은 분량을 할애한 장 중 하나입니다.

먼저 ISO와 NIST의 정의를 기반으로 편향(Bias)을 세 가지로 나눕니다.

• 시스템적 편향 (Systemic Bias): 사회나 제도에 내재된 편향 -
• 통계적 편향 (Statistical Bias): 데이터나 방법론에 기인하는 편향 -
• 인간의 편향 (Human Bias): 데이터 과학 문화 자체에 잠재된 편향

다음으로 미국에서의 편향 관련 법적 개념을 정리하고, '누가 편향을 경험하기 쉬운지', '어떤 종류의 피해가 발생하는지'를 논합니다.

편향 테스트(Bias Test) 기술적인 부분에서는 전통적인 '동등한 결과 테스트(Equal Outcome Test)'와 새로운 '동등한 성능 품질 테스트(Equal Performance Quality Test)'가 대비됩니다.

전통적인 접근 방식의 대표는 **AIR (Adverse Impact Ratio)**로, 이른바 '4분의 5 규칙'입니다. AIR가 0.8을 밑돌면 부당한 영향의 조짐으로 간주됩니다.

다만 본서는 이 지표의 오용에 대해 강력히 경고합니다.

AIR가 0.8을 넘는다고 해서 시스템에 편향이 존재하지 않는다고 단정하는 것은 성급합니다. 즉, 임계값을 통과하는 것과 공평한 것은 별개의 문제입니다.

새로운 마인드셋으로 제안되는 것이 '동등한 성능 품질 테스트'입니다. 결과의 비율이 아니라 TPR / TNR / FPR / FNR 같은 성능 지표가 그룹 간에 동등한지 확인합니다. 허용 범위는 0.81.25이며, 고위험 영역에서는 0.91.11로 더 엄격하게 설정하는 경우도 있다고 언급됩니다.

**편향 완화(Bias Mitigation)**에 대해서는 다음과 같이 체계적으로 소개됩니다.

• 기술적 편향 완화 요인
• 과학적 방법과 실험 설계
• 기술적 편향 완화 접근 방식 (전처리・중간처리・후처리)
• 인간 요인에 의한 편향 완화

사례는 Twitter(현 X)가 실시한 세계 최초의 **편향 버그 바운티(Bias Bug Bounty)**입니다.

보안에 관심 있는 엔지니어라면 이 장이 가장 와닿을 것입니다.

먼저 CIA의 3요소(기밀성・완전성・가용성)를 기계 학습 시스템에 적용하며 '적대적인 사고(Adversarial Thinking)'의 중요성을 역설합니다.

완전성을 침해하는 공격(출력 조작)

• 적대적 샘플 공격 (Adversarial Sample Attack)
• 백도어 공격 (Backdoor Attack)
• 데이터 오염 공격 (Data Poisoning Attack)
• 사칭 공격 및 회피 공격 (Impersonation and Evasion Attack)
• 기계 학습 설명 가능성에 대한 공격

기밀성을 침해하는 공격(정보 탈취)

• 모델 추출 공격 (Model Extraction Attack)
• 역전이 공격 (Inversion Attack)
• 멤버십 추론 공격 (Membership Inference Attack)

대책으로는 다음과 같은 것들이 제시됩니다.

• 보안을 위한 모델 디버깅 (적대적 샘플 탐색, 내부 관계자에 의한 데이터 오염 감사, 윤리적 해킹)
• 보안 확보를 위한 모델 모니터링
• 프라이버시 강화 기술(PETs) — 연합 학습(Federated Learning), 차분 프라이버시(Differential Privacy)
• 로버스트 ML (Robust ML)

'모델 설명 가능성에 대한 공격'이라는 항목이 흥미롭습니다. SHAP 값 같은 설명 결과 자체를 조작하는 공격 기법이 연구되고 있어, 공격 대상이 확대되고 있습니다. 설명 가능성은 방어 수단인 동시에 새로운 공격면이 되는 것입니다.

본 장의 사례는 실제로 발생했던 회피 공격입니다.

제2부는 제1부의 개념을 Python 코드로 실습합니다. 표 형식 데이터(소비자 금융 신용)와 이미지(흉부 X선 폐렴 분류) 두 계통이 병행됩니다.

대만의 신용카드 연체 데이터를 사용하여 Elastic Net → GAM → EBM으로 모델을 단계적으로 고도화시키면서 투명성과 정확도의 트레이드오프를 체감합니다. AUC는 0.73 → 0.75 → 0.78로 상승합니다.

이후, 제약 조건 유무의 XGBoost를 비교합니다. 단조 제약을 가한 모델은 학습 데이터에서의 점수는 낮았지만, 검증 세트에서는 거의 동등했습니다. 이는 제약이 일반화에 기여한 사례입니다.

Shapley 값의 문제점(배경 데이터셋 선택에 따라 설명이 달라짐)에 대해서도 깊이 다룹니다.

흉부 X선 이미지 분류기에 대해 Captum을 사용하여 Occlusion, Input Gradient, 통합 기울기(Integrated Gradient), LRP와 같은 사후 설명 기법을 적용합니다. ProtoPNet과 같은 설명 가능한 딥러닝 모델에도 언급됩니다.

이 장의 **세그먼트 에러 분석(Segment Error Analysis)**가 인상적이었습니다.

전체 AUC는 0.78로, 언뜻 보기에는 나쁘지 않습니다. 하지만 세그먼트별로 분해해보면, 특정 세그먼트에서는 FPR이 1.0, 즉 '결제를 연기하지 않는 모든 사람을, 연기할 것이라고 오진하는' 상태였습니다.

집계 지표가 개별 세그먼트의 치명적인 행동을 가려버립니다. 이 사례는 모델 평가 설계에 대해 다시 생각하게 만듭니다.

더 나아가, 경기 침체를 시뮬레이션한 스트레스 테스트(지불액을 줄이고 일부를 연체로 변경)를 수행하여 AUC가 0.777에서 0.739로 하락하는 것을 확인합니다. '이러한 저하를 재무적으로 감당할 수 있는가'라는 질문을 던지는 것까지가 이 장의 범위입니다.

데이터 품질과 누수(leak) 확인, 심층 학습을 위한 소프트웨어 테스트, 도메인/서브 집단 시프트 테스트, 적대적 샘플 공격, 하이퍼파라미터 섭동 및 진행, 노이즈 주입 등의 복구(repair)를 시도합니다.

복구 후에도 분포 외 데이터에서의 성능이 실질적으로 랜덤에 가까운 수준에 머무른다는 결과를 솔직하게 보고하는 것이 성실함입니다.

전처리(재가중치 부여, reweighting), 중간 처리(정규화, regularization), 후처리(거부 옵션, rejection option), 모델 선택이라는 네 가지 완화 접근 방식을 실제로 적용하고 그 결과를 비교표로 나열합니다.

후처리에서는 AIR을 0.9 이상으로 개선하면서도 F1 값의 하락을 약 6%에 그치게 하는 등 구체적인 트레이드오프가 제시됩니다. '공정성과 정확도의 트레이드오프'가 추상론이 아닌 숫자로 제시되므로 매우 납득이 갑니다.

자신의 모델을 스스로 공격하는 장입니다.

• 모델 추출 공격(대리 모델 구축)
• 적대적 샘플 공격(스코어를 0.256에서 0.064까지 떨어뜨리는 입력 생성)
• 멤버십 추론 공격
• 데이터 오염
• 백도어(점수 산정 코드에 조작)

여기서 흥미로운 점은, 제약 조건이 있는 모델이 추출 공격에 더 취약했다는 결과입니다. 제약 조건 없는 모델의 대리 모델은 R²가 0.6대에 머문 반면, 제약 조건이 있는 모델에서는 0.9대까지 도달했습니다.

투명성과 안정성을 갖춘 제약 조건이 있는 모델은 외부에서 동작을 추측하기 쉽기도 합니다. 방어책이 또 다른 공격 면적을 만드는 구조로, 보안 설계에서의 전형적인 트레이드오프입니다.

기술 서적으로는 드물게 마지막 장이 거의 사회 기술적인 이야기입니다.

저자가 명명한 '데이터 과학적인 방법(data scientific method)'이라는 안티패턴에 대한 설명이 뛰어났습니다.

• 프로젝트에서 수백만 달러의 이익을 얻을 것이라고 가정한다.

• GPU를 도입하고 Python을 설치한다.

• 인터넷이나 비즈니스 프로세스의 부산물로부터 부정확하고 편향된 데이터를 수집한다.

• 확증 편향에 굴복한다.

• 수집한 데이터로 연구하여 가설을 세운다(즉, 어떤 변수와 알고리즘을 사용할지 결정한다).

• 가설을 세웠던 것과 본질적으로 같은 데이터로 가설을 검증한다.

• 느슨한 상관관계에도 적합한 학습 알고리즘을 사용하여 검증한다.

• 결과가 '좋아' 보일 때까지 가설을 계속 수정한다.

• 재현성에는 특별히 신경 쓰지 않고, '모든 것이 잘 될 거야'라고 결론짓는다.

귀에 거슬린다고 느끼는 사람이 많지 않을까요. 저도 공감하는 부분이 있습니다.

저자가 대신 제안하는 흐름은 다음과 같습니다.

• 선행 실험이나 문헌 조사에 기반하여 경험적/이론적 근거가 있는 직관을 세운다.
• 가설을 기록한다 (GitHub 리포지토리와 같은 공개된 장소에 보관)
• 실험 계획법(experimental design) 등을 사용하여 가설 검증에 적합한 데이터를 수집한다.
• 기계 학습 시스템이 처치군(treatment group)에 의도한 효과를 갖는다는 가설을 검증한다.
• CEM이나 FLAME으로 관찰 데이터에서 대조군/처치군을 구축하거나, 통제 실험을 설계한다.
• 처치군에서의 통계적으로 유의미한 효과를 검정한다.

재현한다

여기서 핵심은 가설의 대상이 'XGBoost가 LightGBM보다 우수하다'가 아니라, '이 시스템이 현실 세계에서 어떤 의도된 결과를 가져올 것인가'여야 한다는 주장입니다.

기술 선택의 가설이 아니라, 성과의 가설을 세우는 것입니다. 이 시점 전환은 기계 학습에 국한되지 않고 모든 설계 판단에 응용할 수 있다고 생각합니다.

Medium, Substack, Quora, LinkedIn, X 등은 동료 검토(peer review)를 거친 출판물이 아니라는 당연한 지적에서 시작됩니다. arXiv의 프리프린트 역시 원칙적으로 동료 검토를 받지 않습니다.

저자는 '이 책 자체도 기술 리뷰는 받았지만 공식적인 동료 검토는 받지 않았다'고 명시하면서, 그렇기 때문에 NIST AI RMF와 같은 외부 기준에 준거했다고 설명합니다.

자신의 주장의 한계를 명시하는 이 태도는 글쓴이로서 배우고 싶은 부분입니다.

다양한 팀의 중요성 — 구현 과정에서 발생하는 편향은 개발자의 속성과 상관관계가 있다는 연구 결과가 인용되었습니다.
외부 표준 적용 — FRB의 MRM 감독 지침, NIST AI RMF, EU AI Act 부속서, ISO 표준의 활용법을 아는 것이 상식적인 위험 경감입니다.

MRM(Model Risk Management) 감독 지침에서 추출된 교훈은 그대로 엔지니어링 조직론으로 통용됩니다.

• 문화가 지배한다 (조직 문화가 위험 관리를 존중하지 않으면, 시스템은 형식화에 그친다)
• 위험 관리는 최고 경영진부터 시작된다
• 문서화는 기본적인 위험 관리이다
• 테스트는 독립적이고 중요한 기능이어야 한다 (테스터에게 개발을 중단할 권한을 부여해야 한다)
• 위험 관리에 참여하는 것에 인센티브를 주어야 한다

'테스터에게 개발을 중단할 권한을 부여한다'라는 점은 많은 조직에서 실현되지 못하고 있는 것이 아닐까요?

기계 학습에 관한 책이지만, 시스템 설계서로 읽어도 얻는 것이 많은 한 권이었습니다.

8장의 세그먼트 오류 분석이 보여주듯이, 전체 지표는 국지적인 파탄을 숨깁니다. 이는 기계 학습에만 해당되는 이야기가 아닙니다. 평균 레이턴시가 좋아도 특정 조건에서 치명적으로 느려지는 경우가 흔합니다.

지표를 반드시 분해해서 보는 구조를 설계 단계에組み込む 것. 이 원칙을 다시 한번 확인했습니다.

단조 제약(monotonic constraint)을 적용한 XGBoost가 검증 세트에서 제약이 없는 모델과 거의 동등한 성능을 냅니다. 이 결과는 '제약 = 성능의 희생'이라는 단순한 이해를 수정해 줍니다.

도메인 지식에 기반한 제약은 일반화 성능 기여와 디버깅 용이성이라는 두 가지 이점을 가져옵니다. 타입 시스템이나 아키텍처상의 제약에서도 같은 구도가 있다고 생각합니다.

11장에서 제시된 '제약 모델이 추출 공격에 더 취약하다'는 결과는 투명성이라는 가치가 무조건적인 선(善)이 아니라는 것을 보여줍니다.

설명 가능하게 만드는 것은 공격자에게도 설명 가능하게 하는 것입니다. 설계상의 의사결정은 항상 무엇인가와의 트레이드오프입니다.

각 장을 NIST AI RMF의 하위 카테고리에 대응시키는 크로스워크 테이블 방식은 그대로 설계 문서에 전용할 수 있습니다.

'이러한 설계 판단이 어떤 외부 기준의 어느 항목에 대응하는가'를 명시할 수 있다면, 리뷰 논의는 주관적인 응수에서 벗어날 수 있습니다.

전제 라이브러리 버전 — pandas 1.3계를 전제로 하고 있어 그대로 작동하지 않는 코드가 있습니다. 직접 해볼 경우 환경을 맞추거나 적절히 읽어낼 필요가 있습니다.
범위의 한정 — 생성 AI나 LLM(대규모 언어 모델)을 다루지 않은 것은 의도적인 선택이지만, 현재 이 분야에 관심 있는 독자에게는 아쉬움이 있습니다. 하지만 본서의 프레임워크 자체는 생성 AI에도 응용 가능하며, 저자도 그렇게 언급합니다.
법규제는 미국 중심 — EU AI Act가 다루어지기는 하지만, 일본 상황에 맞게 읽어내는 작업은 독자에게 맡겨집니다.

• 기계 학습을 실제로 상업 운영(production)에 투입했거나 앞으로 할 입장의 엔지니어
• 모델의 정확도는 낼 수 있지만, 그것을 어떻게 검증하고 모니터링해야 할지 정리하지 못한 사람
• 보안 관점에서 기계 학습 시스템을 보고 싶은 사람
• 설계에서의 위험 관리 사고방식을 체계적으로 다시 배우고 싶은 사람
• '책임 있는 AI'라는 단어를 추상적인 논리가 아닌 구체적인 절차로 이해하고 싶은 사람

반대로, 기계 학습 알고리즘 자체를 배우고 싶은 입문자에게는 적합하지 않습니다. 본서는 '모델은 만들 수 있다'는 것을 전제로 합니다.

본서의 주장을 한 문장으로 요약하자면 다음과 같습니다.

테스트 데이터에서 좋은 성능을 내는 것과 현실 세계에서 의도한 효과를 발휘하는 것은 완전히 별개의 문제입니다.

'빠르게 움직여 파괴하라(move fast and break things)'라는 접근법이 통하지 않는 영역이 확실히 넓어지고 있습니다. EU AI Act는 2024년 8월에 발효하고, 2026년 8월부터 단계적으로 시행됩니다. 규제는 기다려주지 않습니다.

그리고 본서가 반복해서 강조하는 것은 이 과제가 기술만으로는 해결될 수 없다는 것입니다. 문화, 프로세스, 팀 구성, 인센티브 설계. 이 모든 것이 갖춰져야 비로소 고위험 영역의 기계 학습이 성립합니다.

기계 학습을 다루지 않더라도 '내가 만들고 있는 시스템이 실패했을 때, 누가 어떻게 곤란해할까'를 생각해 본 사람에게는 읽을 가치가 있는 책이라고 생각합니다.

• Machine Learning for High-Risk Applications (원저)
• NIST AI Risk Management Framework
• EU AI Act
• SR 11-7 Guidance on Model Risk Management