경영진을 위한 AI ROI 가이드

저는 너무나 많은 AI 예산들이 슬라이드 한 장으로 승인되었다가 한 분기 만에 증발하는 것을 목격해 왔습니다. 기술은 작동했습니다. 하지만 ROI(투자 대비 수익)는 작동하지 않았습니다. 그 격차는 거의 항상 모델의 문제가 아닙니다. 그것은 리더들이 가치를 어떻게 정의하고, 도입을 어떻게 추진하며, 실제로 무엇이 변했는지를 어떻게 측정하느냐의 문제입니다.

기업 규모의 AI 및 ERP 변화를 관리하고, 개인적으로 AInspire를 구축하며 제가 배운 것은 다음과 같습니다. AI의 ROI는 기술적인 문제가 아닙니다. 그것은 기술의 탈을 쓴 리더십의 문제입니다.

유스케이스(Use case)가 아닌 가치 사례(Value case)로 시작하십시오

유스케이스(Use case)는 "계약서를 요약하는 데 AI를 사용할 수 있습니다"라고 말합니다. 가치 사례(Value case)는 "우리는 연간 4,200시간의 법률 검토 시간을 소비하며, 그 중 60%는 분류 작업입니다. AI는 38만 달러의 확보된 역량 대비 9만 달러의 비용으로 그 분류 작업을 제거합니다"라고 말합니다.

하나는 데모(Demo)일 뿐입니다. 다른 하나는 CFO(최고재무책임자)를 설득할 수 있습니다.

저는 무엇인가에 자금을 지원하기 전에 세 가지 수치를 강제합니다:

기준점(The baseline). 현재 시간, 오류, 또는 손실된 수익 측면에서 비용이 얼마나 듭니까? "전"을 측정할 수 없다면, "후"를 결코 증명할 수 없을 것입니다.
해당 가능한 범위(The addressable slice). AI가 업무의 100%를 차지하는 경우는 드뭅니다. 솔직해지십시오. 30%입니까, 아니면 70%입니까? 이를 과장하는 것이 예상 ROI가 결코 실현되지 않는 가장 흔한 이유입니다.
실현 경로(The realization path). 확보된 시간은 그것을 재배치하기 전까지는 절감된 돈이 아닙니다. 아무도 재할당하지 않는 20%의 생산성 향상은 0%의 재무적 이득과 같습니다.

도입(Adoption)은 승수입니다 — 그렇게 취급하십시오

모델의 품질이 헤드라인을 장식합니다. 하지만 도입(Adoption)이 수익을 가져옵니다.

수식은 냉혹하고 단순합니다. 정확도가 90%이지만 팀의 20%만 사용하는 도구는, 정확도가 70%이지만 90%가 사용하는 도구보다 수익이 적습니다. 제 경험상, 중단된 도입과 실제 도입 사이의 차이는 모델의 차이인 경우가 거의 없습니다. 그것은 신뢰, 워크플로우(Workflow) 적합성, 그리고 사람들에게 요청을 했는지 아니면 지시를 했는지의 차이입니다.

ROI = 사용당 가치 × 사용 빈도 × 사용자 점유율. 이 세 가지 변수 중 두 가지는 기술적인 것이 아니라 인간적인 것입니다.

그래서 저는 도입을 위한 예산을 인프라(Infrastructure)를 구축하는 것처럼 책정합니다. 왜냐하면 실제로 인프라이기 때문입니다. 각 팀 내의 챔피언(Champions), 기존 워크플로(Workflows)에 도구를 억지로 끼워 맞추는 것이 아니라 도구를 중심으로 재설계된 워크플로, 그리고 사용자가 도구를 직접 형성해 나갈 수 있는 피드백 루프(Feedback loop) — 이것이 강제적인 명령과 습관 사이의 차이를 만듭니다.

데모 지표(Demo metric)만이 아닌, 2차 효과(Second-order effects)를 측정하라

리더들은 허영 지표(Vanity metric)를 좋아합니다. "AI가 응답 초안을 5배 더 빠르게 작성합니다." 좋습니다. 하지만 초안 작성 속도가 빨라지면 검토 속도가 느려지거나, 더 많은 수정 작업이 발생하거나, 혹은 두 분기 후에나 나타나는 품질 저하(Quality drift)가 발생할 수 있습니다.

저는 세 가지 계층을 추적합니다:

활동 (Activity) — 사용되고 있는가? 누가, 얼마나 자주 사용하는가? 이것이 여러분의 선행 지표(Leading indicator)입니다.
결과 (Outcome) — 목표 지표가 움직였는가? 사이클 타임(Cycle time), 단위당 비용, 오류율, 영업 담당자당 매출 등입니다.
시스템 (System) — 의도하지 않았던 무엇이 변했는가? 다운스트림 품질(Downstream quality), 직원의 업무 부하, 고객 신뢰 등입니다.

활동만을 측정한다면, 여러분은 여러분의 결과물을 조용히 저하시키고 있는 도구의 사용량을 축하하고 있는 꼴이 될 것입니다.

ROI를 망치는 함정들

제가 목격한 거의 모든 실패한 AI 이니셔티브(Initiative)는 다음 중 하나에 해당했습니다:

확장할 수 없는 파일럿 (The pilot that cannot scale). 정제된 데이터와 엄선된 팀을 대상으로 한 완벽한 개념 증명(Proof-of-concept)은 실제 운영(Production) 환경에 대해 아무것도 알려주지 않습니다. 쉬운 부분이 아니라 어려운 부분 — 지저분한 데이터, 실제 사용자, 통합(Integration) — 을 테스트할 수 있도록 파일럿을 설계하십시오.
문제를 해결하는 대신 역량을 구매하는 것. "우리는 AI 전략이 필요합니다"라는 말은 전략이 아닙니다. 상위 3가지 가치 사례(Value cases)를 선정하여 깊게 파고드십시오. 넓이는 이사회를 감동시키지만, 깊이는 이사회에 수익을 돌려줍니다.
변화 비용(Change cost)을 무시하는 것. 라이선스 비용은 전체 청구액의 10%에 불과합니다. 통합, 교육, 프로세스 재설계, 그리고 거버넌스(Governance)가 나머지 90%입니다. 빙산의 일각이 아니라 빙산 전체를 위해 예산을 책정하십시오.
책임자 부재. ROI 목표가 특정 경영진의 성과 지표(Scorecard)에 포함되어 있지 않다면, 그것은 누구의 것도 아니며, 분기 실적이 압박을 받을 때 아무도 그것을 방어하지 않을 것입니다.

올해 제가 모든 이사회에 전하고 싶은 말

"AI가 무엇을 할 수 있는가?"라고 묻지 마십시오. 대신 "오늘날 우리가 어디에서 시간과 돈을 낭비하고 있는가, 그리고 AI가 목록에 있는 그 어떤 것보다 더 빠르게 그 손실을 막을 수 있는가?"라고 물으십시오.

더 적은 수의 프로젝트에 투자하되, 더 깊게 투자하십시오. 기술에 손을 대기 전에 기준점 (Baseline)을 측정하십시오. 기술 자체에 쓰는 만큼 도입 (Adoption)에도 비용을 지불하십시오. 그리고 예상되는 수익의 모든 달러 옆에 — 실제 책임질 수 있는 실명을 — 기입하십시오.

AI ROI (투자 대비 수익)는 매우 실재합니다. 다만 대부분의 리더가 건너뛰는 지루한 곳들, 즉 기준점 (Baseline), 워크플로 (Workflow), 그리고 실제로 버튼을 누르는 사람으로부터 얻어집니다. 이 요소들을 제대로 파악한다면 모델은 거의 중요하지 않습니다. 이 요소들을 잘못 파악한다면 그 어떤 모델도 당신을 구원하지 못할 것입니다.

원문은 cedricbignet.com에 게시되었습니다. 저는 Cédric Bignet이며, Novartis의 AI & ERP 변화 관리 (Change Management) 전문가이자 AInspire의 설립자입니다.

경영진을 위한 AI ROI 가이드

요약

핵심 포인트

유스케이스(Use case)가 아닌 가치 사례(Value case)로 시작하십시오

도입(Adoption)은 승수입니다 — 그렇게 취급하십시오

데모 지표(Demo metric)만이 아닌, 2차 효과(Second-order effects)를 측정하라

ROI를 망치는 함정들

올해 제가 모든 이사회에 전하고 싶은 말

댓글

유스케이스(Use case)가 아닌 가치 사례(Value case)로 시작하십시오

도입(Adoption)은 승수입니다 — 그렇게 취급하십시오

데모 지표(Demo metric)만이 아닌, 2차 효과(Second-order effects)를 측정하라

ROI를 망치는 함정들

올해 제가 모든 이사회에 전하고 싶은 말