지금 모두가 AI ROI(투자 대비 수익)에 대해 논쟁하고 있습니다. 이사회는 수치를 원합니다. 컨설턴트들은 프레임워크를 판매하고 있습니다. 그리고 헤드라인은 잔혹해 보입니다. MIT 보고서는 기업용 GenAI(생성형 AI) 파일럿의 95%가 측정 가능한 수익을 보여주지 못했다고 주장했으며, 지난 1월 Forbes 기사는 CEO의 56%가 AI로부터 제로 ROI를 보고 있다고 말합니다.

그렇다면 AI는 실패한 것일까요?

문제는 이것입니다. 앞서 언급한 기업 중 어느 곳에라도 일주일 동안 이메일을 끄라고 요청해 보십시오. 그냥 시도해 보세요. 아무도 이메일에 대해 6개월간의 ROI 연구를 수행한 적이 없습니다. 그럴 필요가 없었기 때문입니다. 이메일은 업무가 이루어지는 방식 그 자체가 되었고, 수익은 어디에나 존재했기에 더 이상 별도의 항목으로 취급되지 않게 되었습니다.

제 생각에 AI는 동일한 경로를 따르고 있으며, 데이터가 이를 뒷받침합니다.

파일럿과 실무자 사이의 간극

동일한 MIT 보고서에는 95%라는 수치보다 훨씬 적게 다뤄진 통계가 있습니다. 직원의 90%가 업무를 위해 개인용 AI 도구를 정기적으로 사용하는 반면, 공식적인 LLM(대규모 언어 모델) 구독을 제공하는 기업은 40%에 불과하다는 것입니다. 노동자들은 고용주보다 두 배 이상의 속도로 AI를 채택했습니다. 보고서는 심지어 직원의 70%가 이메일 초안 작성이나 기초적인 분석과 같은 빠른 작업에서 동료보다 AI를 선호한다는 사실을 발견했습니다.

따라서 공식적인 파일럿은 KPI(핵심 성과 지표) 검토에서 실패하는 것처럼 보이지만, 건물 안의 사람들은 하루에도 여러 번 조용히 AI를 사용하고 있습니다. 이것은 기술의 실패가 아닙니다. 측정의 문제입니다.

참고할 점: 95%라는 수치 자체는 심한 비판을 받아왔습니다. 이는 52건의 인터뷰와 성공에 대한 좁은 정의를 바탕으로 도출되었습니다. 저는 그 수치를 근거로 어느 방향으로든 전략을 세우지는 않을 것입니다.

ROI가 보이지 않는 이유

그 가치는 이메일의 가치가 안착했던 곳과 같은 곳, 즉 업무 시간 중 화려하지 않은 중간 단계에 머물고 있는 것으로 보입니다. 답장 초안 작성하기. 스레드 요약하기. 엉망인 노트를 보낼 수 있는 무언가로 바꾸기. 이 중 어느 것도 새로운 수익 항목으로 나타나지 않습니다. 대신 그것은 당신이 되찾은 한 시간, 그리고 그 시간을 즉시 다른 무언가에 사용하게 되는 방식으로 나타납니다.

그것을 쉽게 측정할 수는 없지만, 느낄 수는 있습니다. 1년 동안 도구를 사용해 온 개발자에게서 그 도구들을 빼앗고 어떤 일이 일어나는지 지켜보십시오. 사람들은 더 이상 그것 없이 일하는 것을 상상조차 할 수 없게 됩니다. 그 반응이 바로 ROI (투자 수익률)입니다.

내가 실제로 추적할 것들

만약 이를 정당화해야 한다면, 무모한 파일럿 프로젝트 (moonshot pilot)는 건너뛰고 지루한 것들을 세어보십시오. 첫 초안을 작성하는 데 걸리는 시간, 상태 업데이트 (status updates)에 소비되는 시간, 아침에 받은 편지함을 처리하는 데 걸리는 시간 같은 것들 말입니다. 정직하게 측정된 작은 수치들이 매번 거창한 변화를 설명하는 발표 자료 (transformation deck)보다 더 강력합니다.

이메일은 결코 비즈니스 케이스 (business case)를 가진 적이 없었습니다. 이메일에는 사용자가 있었을 뿐입니다. AI도 같은 방식으로 그 단계에 도달하고 있습니다.

당신이 다시는 돌려주고 싶지 않은 단 하나의 AI 작업은 무엇인가요? 다른 분들은 무엇인지 궁금합니다.