머신러닝이 비즈니스 문제에 잘못된 해답인 경우는 언제인가?

한 관리자가 배송비를 계산하기 위해 "AI 솔루션"을 요청했습니다. 이 수수료는 이미 게시된 요율표(무게 구간, 도착지 구역, 고정 추가 요금)에서 나옵니다. 모델을 훈련시킨다는 것은 비즈니스가 이미 작성해 놓은 규칙의 근사치를 만들기 위해 노력을 들인다는 의미입니다. AWS Certified AI Practitioner 시험 (AIF-C01, Exam Guide version 1.1)에서는 이러한 상황을 식별할 수 있는지 확인합니다. 이 시험이 검증하는 능력 중 하나는 "비즈니스 문제를 해결하기 위한 적절한 AI/ML 및 GenAI 기술 사용처를 파악하는 것"입니다.

본문의 주장: 머신러닝은 다음 다섯 가지 상황에서 잘못된 해답입니다:

• 규칙이 이미 알려진 경우;
• 출력이 정확하게 예측되어야 하는 경우;
• 데이터가 부족하거나, 품질이 낮거나, 편향된 경우;
• 비즈니스 가치를 측정할 수 없는 경우;
• 더 간단하거나, 즉시 사용 가능하거나, 범위가 좁은 기술로 충분한 경우.

각 항목은 머신러닝의 작동 방식에서 비롯됩니다. 이는 사전에 알지 못하는 관계를 예시로부터 추론하며, 그 출력은 확실하기보다는 확률적입니다. 답변은 강력한 지원자가 인터뷰에서 할 법한 방식으로 작성되었으며, 이어서 다섯 가지 후속 질문이 이어집니다. 각 후속 질문에는 짧은 모델 답변과 약한 지원자들이 흔히 저지르는 실수가 포함되어 있습니다.

강력한 답변: 머신러닝은 규칙을 알 수 없고 데이터가 가르칠 수 있을 때만 그 자리를 얻는다

"AI 또는 머신러닝이 잘못된 해답인 경우는 언제인가요?"라는 질문에, 강력한 지원자는 슬로건 목록이 아닌 메커니즘부터 시작합니다.

머신러닝은 어떤 수학적 관계가 입력과 출력을 연결한다는 아이디어에서 출발합니다. 모델은 이 관계를 사전에 알지 못합니다. 충분한 예시를 본다면 추정할 수 있습니다. 표준적인 예시는 간단합니다. 알고리즘에게 쌍 (2, 10), (5, 19), 그리고 (9, 31)을 주고, 출력이 입력의 세 배에 네가 더한 것임을 알아냅니다. 입력값 7에 대해 질문하면, 25를 예측합니다.

해당 예시는 전체 논리를 담고 있습니다. 만약 '3배에 4를 더한다'는 규칙을 이미 알고 있다면, 그 코드를 작성하고 학습 과정을 건너뛸 것입니다. 머신러닝은 아무도 규칙을 글로 적어낼 수 없지만, 그 예시가 존재하는 경우에 도움이 됩니다.

따라서 강력한 답변은 머신러닝의 필요성을 제거하는 조건을 명시합니다:

• 알려진 규칙;
• 보장되고 반복 가능한 출력이 필요한 경우;
• 데이터가 너무 적거나 품질이 낮은 경우;
• 측정 가능한 비즈니스 목표가 없는 경우;
• 더 간단하거나 이미 준비된 기술로 해결할 수 있는 문제.

A decision flow: known rule or exact output leads to ordinary code; missing data or unmeasurable value stops ML

머신러닝은 더 저렴한 질문들이 답변된 후에만 정당화된다

후속 질문 1: 출력이 예측 가능해야 할 때, 알려진 규칙이 학습된 추측보다 우세하다

면접관:

Comparison table showing deterministic software gives fixed outcomes while machine learning gives probabilities

규칙 기반 소프트웨어는 결과를 약속하지만, 머신러닝은 확률을 약속한다.

후속 질문 2: 충분히 깨끗하고 대표적인 데이터가 없으면 구축할 가치가 있는 모델은 없다

면접관: "규칙은 알 수 없지만, 지저분한 기록이 수백 개밖에 없습니다. 머신러닝이 여전히 답일까요?"

모델 답변: 아마 아직은 아닐 것입니다. 모델의 성능은 훈련된 데이터의 품질에 달려 있습니다. 누락된 값(Missing values), 일관성 없는 항목(inconsistent entries), 노이즈는 정확도를 크게 떨어뜨릴 수 있습니다. 충분히 크지 않은 데이터셋은 모델이 효과적으로 학습하는 것을 막을 수 있습니다.

풍부해 보이는 데이터도 편향될 수 있습니다. 특정 클래스가 다른 클래스보다 훨씬 자주 나타날 경우, 모델은 다수 클래스에서는 잘 작동하지만 소수 클래스에서는 실패할 수 있습니다. 예를 들어, 한 인구 통계학적 그룹에 유리했던 과거 기록으로 훈련된 채용 모델은 계속해서 그 편향을 유지할 수 있습니다. 편견 없는 시스템을 훈련하려면 대량의 데이터와 이를 뒷받침하는 좋은 데이터 품질 프로세스가 필요합니다.

지도 학습(Supervised learning)은 각 입력이 올바른 출력과 태그가 지정되는, 레이블링된 예제를 통해 훈련되는 방식입니다. 필요한 규모로 레이블링을 하는 것 자체가 도전 과제입니다.

약한 후보자들이 저지르는 실수: 모델이 데이터를 "정리해 줄" 것이라고 가정하거나, 더 많은 훈련이 잘못된 입력을 고칠 것이라고 생각하는 것입니다. 합리적인 기본 원칙은 데이터 준비 상태를 게이트로 취급하는 것입니다. 데이터를 수정할 수 없다면, 그 프로젝트는 머신러닝을 할 준비가 되지 않은 것입니다.

후속 질문 3: 측정 가능한 비즈니스 목표가 없는 프로젝트는 정당화될 수 없다

면접관: "리더십이 로드맵에 AI를 원합니다. 어디서부터 시작해야 할까요?"

모델 답변: 기술이 아니라 문제에서부터 시작해야 합니다. 머신러닝 도입에 대한 지침은 라이프사이클의 가장 앞부분에 '비즈니스 목표'를 배치합니다:

1. 해결할 문제를 식별하고 머신러닝이 추가할 가치를 파악합니다.
2. 그 가치가 특정 성공 기준에 따라 측정될 수 있는지 확인합니다.

다음 단계는 문제 정의(problem framing)입니다. 무엇을 관찰하고 무엇을 예측해야 하는지, 그리고 어떤 성능 및 오류 지표가 중요한지를 결정합니다. 이 작업이 완료된 후에야 데이터 처리, 모델 개발, 배포 및 모니터링이 뒤따릅니다.

만약 모델이 무엇을 예측하는지, 또는 누가 그것이 작동하고 있다고 알 수 있는지 설명할 수 없다면, 솔직한 대답은 머신러닝이 시기상조(premature)라는 것입니다.

Lifecycle from business goal to monitoring, with a stop when the business goal has no measurable value

데이터나 모델 작업보다 비즈니스 목표와 문제 정의가 선행되어야 합니다

약한 후보자들이 저지르는 실수: 측정 가능한 결과(measurable outcome)를 명시하기 전에 서비스나 모델 유형으로 답변하는 것입니다. 시나리오 질문의 경우, '목표 및 성공 기준을 정의하라'는 단계를 건너뛰는 모든 선택지는 의심받아 마땅합니다.

후속 질문 4: 결정이 설명되어야 할 때, 불투명한(opaque) 모델은 실제 비용을 수반한다

면접관: "대출 기관이 대출 승인 모델을 원한다고 합니다. 우려되는 점이 있나요?"

모델 답변: 두 가지 우려 사항이 있습니다: 설명 가능성(explainability)과 편향(bias).

설명 가능성. 모델이 복잡해지고, 특히 딥러닝(deep learning) 모델의 경우, 그 결정은 해석하기 어려워집니다. 이는 사용성, 신뢰도, 그리고 배포 윤리에 영향을 미칩니다. 딥러닝은 데이터를 여러 개의 인공 뉴런 레이어(artificial neurons layers)를 통과시키는 방법론들의 집합입니다.

편향. 불균형한 역사적 데이터는 모델이 그 데이터의 패턴을 계속해서 복제하도록 만들 수 있습니다.

거버넌스(Governance). AI를 배포한다는 것은 규제 제한 및 개인 정보 보호 법규 내에서 데이터 품질, 프라이버시, 보안을 관리하는 것을 의미합니다. 조직은 고객 데이터에 대해 책임을 집니다. 책임 있는 AI(Responsible AI)는 AI가 구축되고 사용되는 방식에서 공정성(fairness), 투명성(transparency), 그리고 책임성(accountability)에 주의를 기울이는 실천입니다.

이러한 규칙들이 머신러닝을 자동으로 배제하는 것은 아닙니다. 다만, 영향을 받는 사람에게 정당화되어야 하는 결정이라면 추론 과정이 읽기 어려운 모델에 적용하기에는 적합도가 떨어진다는 의미입니다. 선택은 더 해석 가능한 접근 방식을 취할 것인지, 아니면 편향 점검과 감독의 비용을 감수할 것인지를 결정하는 것입니다.

취약한 후보들이 저지르는 실수: 책임 있는 AI(responsible AI)를 '이것이 올바른 도구인가'라는 질문과는 별개의 주제로 취급하는 것입니다. 실제로는 이 두 가지가 종종 같은 질문으로 귀결됩니다.

Icons for known rule, poor data, no measurable goal and a decision that must be explained

머신러닝이 잘못된 답일 수 있음을 보여주는 네 가지 경고 신호

후속 5: 잘못된 유형의 AI를 선택하는 것 역시 잘못된 답변이다

인터뷰어:

비용은 마지막 고려 사항입니다. 대규모 모델을 훈련하는 것은 상당한 컴퓨팅 자원을 요구하며 시간이 오래 걸리고 비용이 많이 들 수 있습니다. 처리 능력은 비쌀 수 있으며 시스템이 얼마나 확장될지 제한합니다.

약한 후보자들이 저지르는 실수: '가장 유능함(most capable)'과 '가장 적절함(most appropriate)'을 동일시하는 것입니다. 합리적인 규칙은 성공 기준을 충족하는 가장 좁은 기술을 선택하는 것입니다. 작업이 레이블이 지정된 이력의 고정된 카테고리로 구성된 경우 기존 분류기(conventional classifier)를 선택하십시오. 출력 자체가 새로운 텍스트나 이미지인 경우에는 생성 모델(generative model)을 선택하십시오.

AIF-C01이 이러한 판단을 점수화된 질문으로 바꾸는 방법

시험 가이드에서는 시험이 검증하는 네 가지 사항을 나열합니다:

• AI, 머신러닝, 생성형 AI 개념 설명하기;
• 비즈니스 문제에 대한 이 기술들의 적절한 사용처 식별하기;
• 특정 사용 사례를 위한 올바른 유형의 기술 결정하기;
• 책임감 있게 사용하기.

두 번째와 세 번째 항목은 위의 후속 질문들과 직접적으로 연결됩니다.

목표 후보자는 AWS에서 AI/ML 솔루션을 사용하지만, 반드시 그것들을 구축하는 것은 아닙니다. 모델 코딩(Coding models), 피처 엔지니어링(feature engineering), 하이퍼파라미터 튜닝(hyperparameter tuning) 및 모델 통계 분석은 명시적으로 범위 밖에 있습니다. 따라서 시험은 여러분에게 해결책을 '구축'하라는 것이 아니라, 적합성을 '판단'하도록 요구합니다.

질문 형식들은 판단에 적합합니다. 객관식(Multiple choice)은 정답 하나와 오답 세 개로 구성됩니다. 다중 응답(Multiple response)은 모든 올바른 옵션을 선택해야 합니다. 매칭 쌍(Matching pairs) 응답은 3개에서 7개의 프롬프트가 있습니다. 순서 배열(Ordering)은 3개에서 5개의 응답을 순서대로 배치하도록 요구합니다.