저는 너무나 많은 AI 예산들이 슬라이드 한 장으로 승인되었다가 한 분기 만에 증발하는 것을 목격해 왔습니다. 기술은 작동했습니다. 하지만 ROI(투자 대비 수익)는 작동하지 않았습니다. 그 격차는 거의 항상 모델의 문제가 아닙니다. 그것은 리더들이 가치를 어떻게 정의하고, 도입을 어떻게 추진하며, 실제로 무엇이 변했는지를 어떻게 측정하느냐의 문제입니다.

기업 규모의 AI 및 ERP 변화를 관리하고, 개인적으로 AInspire를 구축하며 제가 배운 것은 다음과 같습니다. AI의 ROI는 기술적인 문제가 아닙니다. 그것은 기술의 탈을 쓴 리더십의 문제입니다.

유스케이스(Use case)가 아닌 가치 사례(Value case)로 시작하십시오

유스케이스(Use case)는 "계약서를 요약하는 데 AI를 사용할 수 있습니다"라고 말합니다. 가치 사례(Value case)는 "우리는 연간 4,200시간의 법률 검토 시간을 소비하며, 그 중 60%는 분류 작업입니다. AI는 38만 달러의 확보된 역량 대비 9만 달러의 비용으로 그 분류 작업을 제거합니다"라고 말합니다.

하나는 데모(Demo)일 뿐입니다. 다른 하나는 CFO(최고재무책임자)를 설득할 수 있습니다.

저는 무엇인가에 자금을 지원하기 전에 세 가지 수치를 강제합니다:

• 기준점(The baseline). 현재 시간, 오류, 또는 손실된 수익 측면에서 비용이 얼마나 듭니까? "전"을 측정할 수 없다면, "후"를 결코 증명할 수 없을 것입니다.
• 해당 가능한 범위(The addressable slice). AI가 업무의 100%를 차지하는 경우는 드뭅니다. 솔직해지십시오. 30%입니까, 아니면 70%입니까? 이를 과장하는 것이 예상 ROI가 결코 실현되지 않는 가장 흔한 이유입니다.
• 실현 경로(The realization path). 확보된 시간은 그것을 재배치하기 전까지는 절감된 돈이 아닙니다. 아무도 재할당하지 않는 20%의 생산성 향상은 0%의 재무적 이득과 같습니다.

도입(Adoption)은 승수입니다 — 그렇게 취급하십시오

모델의 품질이 헤드라인을 장식합니다. 하지만 도입(Adoption)이 수익을 가져옵니다.

수식은 냉혹하고 단순합니다. 정확도가 90%이지만 팀의 20%만 사용하는 도구는, 정확도가 70%이지만 90%가 사용하는 도구보다 수익이 적습니다. 제 경험상, 중단된 도입과 실제 도입 사이의 차이는 모델의 차이인 경우가 거의 없습니다. 그것은 신뢰, 워크플로우(Workflow) 적합성, 그리고 사람들에게 요청을 했는지 아니면 지시를 했는지의 차이입니다.

ROI = 사용당 가치 × 사용 빈도 × 사용자 점유율. 이 세 가지 변수 중 두 가지는 기술적인 것이 아니라 인간적인 것입니다.

그래서 저는 도입을 위한 예산을 인프라(Infrastructure)를 구축하는 것처럼 책정합니다. 왜냐하면 실제로 인프라이기 때문입니다. 각 팀 내의 챔피언(Champions), 기존 워크플로(Workflows)에 도구를 억지로 끼워 맞추는 것이 아니라 도구를 중심으로 재설계된 워크플로, 그리고 사용자가 도구를 직접 형성해 나갈 수 있는 피드백 루프(Feedback loop) — 이것이 강제적인 명령과 습관 사이의 차이를 만듭니다.

데모 지표(Demo metric)만이 아닌, 2차 효과(Second-order effects)를 측정하라

리더들은 허영 지표(Vanity metric)를 좋아합니다. "AI가 응답 초안을 5배 더 빠르게 작성합니다." 좋습니다. 하지만 초안 작성 속도가 빨라지면 검토 속도가 느려지거나, 더 많은 수정 작업이 발생하거나, 혹은 두 분기 후에나 나타나는 품질 저하(Quality drift)가 발생할 수 있습니다.

저는 세 가지 계층을 추적합니다:

• 활동 (Activity) — 사용되고 있는가? 누가, 얼마나 자주 사용하는가? 이것이 여러분의 선행 지표(Leading indicator)입니다.
• 결과 (Outcome) — 목표 지표가 움직였는가? 사이클 타임(Cycle time), 단위당 비용, 오류율, 영업 담당자당 매출 등입니다.
• 시스템 (System) — 의도하지 않았던 무엇이 변했는가? 다운스트림 품질(Downstream quality), 직원의 업무 부하, 고객 신뢰 등입니다.

활동만을 측정한다면, 여러분은 여러분의 결과물을 조용히 저하시키고 있는 도구의 사용량을 축하하고 있는 꼴이 될 것입니다.

ROI를 망치는 함정들

제가 목격한 거의 모든 실패한 AI 이니셔티브(Initiative)는 다음 중 하나에 해당했습니다:

• 확장할 수 없는 파일럿 (The pilot that cannot scale). 정제된 데이터와 엄선된 팀을 대상으로 한 완벽한 개념 증명(Proof-of-concept)은 실제 운영(Production) 환경에 대해 아무것도 알려주지 않습니다. 쉬운 부분이 아니라 어려운 부분 — 지저분한 데이터, 실제 사용자, 통합(Integration) — 을 테스트할 수 있도록 파일럿을 설계하십시오.
• 문제를 해결하는 대신 역량을 구매하는 것. "우리는 AI 전략이 필요합니다"라는 말은 전략이 아닙니다. 상위 3가지 가치 사례(Value cases)를 선정하여 깊게 파고드십시오. 넓이는 이사회를 감동시키지만, 깊이는 이사회에 수익을 돌려줍니다.
• 변화 비용(Change cost)을 무시하는 것. 라이선스 비용은 전체 청구액의 10%에 불과합니다. 통합, 교육, 프로세스 재설계, 그리고 거버넌스(Governance)가 나머지 90%입니다. 빙산의 일각이 아니라 빙산 전체를 위해 예산을 책정하십시오.
• 책임자 부재. ROI 목표가 특정 경영진의 성과 지표(Scorecard)에 포함되어 있지 않다면, 그것은 누구의 것도 아니며, 분기 실적이 압박을 받을 때 아무도 그것을 방어하지 않을 것입니다.

올해 제가 모든 이사회에 전하고 싶은 말

"AI가 무엇을 할 수 있는가?"라고 묻지 마십시오. 대신 "오늘날 우리가 어디에서 시간과 돈을 낭비하고 있는가, 그리고 AI가 목록에 있는 그 어떤 것보다 더 빠르게 그 손실을 막을 수 있는가?"라고 물으십시오.

더 적은 수의 프로젝트에 투자하되, 더 깊게 투자하십시오. 기술에 손을 대기 전에 기준점 (Baseline)을 측정하십시오. 기술 자체에 쓰는 만큼 도입 (Adoption)에도 비용을 지불하십시오. 그리고 예상되는 수익의 모든 달러 옆에 — 실제 책임질 수 있는 실명을 — 기입하십시오.

AI ROI (투자 대비 수익)는 매우 실재합니다. 다만 대부분의 리더가 건너뛰는 지루한 곳들, 즉 기준점 (Baseline), 워크플로 (Workflow), 그리고 실제로 버튼을 누르는 사람으로부터 얻어집니다. 이 요소들을 제대로 파악한다면 모델은 거의 중요하지 않습니다. 이 요소들을 잘못 파악한다면 그 어떤 모델도 당신을 구원하지 못할 것입니다.

원문은 cedricbignet.com에 게시되었습니다. 저는 Cédric Bignet이며, Novartis의 AI & ERP 변화 관리 (Change Management) 전문가이자 AInspire의 설립자입니다.