• 생성형 AI (Generative AI) 도입은 통계로 보면 대부분 실패하고 있습니다. MIT의 보고에 따르면 시험 도입의 95%가 손익에 효과가 없었습니다. BCG의 조사에서는 일관되게 가치를 창출하고 있는 기업은 5%였습니다.
• 그럼에도 성과를 낸 미야자키 은행, 스미토모 상사, 쓰쿠바 시청 등에는 공통점이 있었습니다. 화려한 신모델이 아니라, 「AI가 초안 작성 → 사람이 확정」이라는 수수한 분업입니다. - 재현성이 높은 패턴은 3가지입니다. 사내 규정에 답하는 문의 봇, 장표를 읽어내는 AI-OCR, 정형 문서의 AI 초안 작성입니다.
• 실패에도 공통점이 있습니다. 도입 전의 공수(Man-hour)를 측정하지 않는다, 확인하는 수고를 원가에 포함하지 않는다, 성공 사례가 없는 상태에서 전사 전개한다, 이 3가지입니다.
• 「최대 95% 절감」과 같은 숫자는 누가, 언제, 무엇을 측정했는지를 확인하지 않으면 사고가 발생합니다. 구별하는 방법도 작성했습니다.

최근 저는 AI를 이용한 업무 효율화 일을 하고 있습니다. 그 일환으로 국내외의 AI 업무 효율화 사례를 지속적으로 모니터링하며 1차 정보와 대조하는 작업을 계속해 왔습니다.

그렇다고 해서 전부 수작업으로 한 것은 아닙니다. 수집과 사실 확인은 AI 에이전트 (AI Agent)에게 맡기고, 그 결과를 제가 읽고 채택 여부를 판단하는 체제입니다. 짐작하시겠지만, 이것은 본 기사의 결론 그 자체입니다. 「AI가 초안 작성 → 사람이 확정」하는 분업을 기사 제작 자체에서 실천하고 있습니다.

솔직히 말하면, 처음에는 「성공 사례를 모아서 패턴화하자」라는 가벼운 기획이었습니다. 그런데 모으면 모을수록 나오는 것은 철회, 중지, 예산 고갈 이야기뿐이었습니다. 중간부터 질문이 바뀌었습니다. 「어떤 사례가 대단한가」가 아니라, 「실패가 9할인 세상에서 왜 이 몇몇 기업만 성과를 내고 있는가」로 말입니다.

이 기사는 그 기록입니다. 미리 말씀드리자면, 결론은 허탈할 정도로 수수합니다.

성공 사례에 앞서 실패 통계를 나열하겠습니다. 실패가 표준이라는 것을 모른 채 성공 사례만 읽으면, 「툴을 도입하면 성과가 나온다」라는 잘못된 교훈을 얻게 되기 때문입니다.

개별 기업의 실패도 구체적입니다.

• 스웨덴의 후불 결제 대기업 Klarna는 고객 지원을 AI로 전면 교체하여 약 700명분에 해당하는 인력을 대체할 것이라고 선언했습니다. 하지만 복잡한 문의에서 고객 만족도가 악화되어 재문의가 증가했습니다. 결국 철회하고 유인(Human)과 AI의 하이브리드 방식으로 재설계하고 있습니다.
• Uber는 연간 AI 예산을 4개월 만에 다 썼습니다. 생성형 AI는 사용한 만큼 과금되는 종량제이기 때문에, 상한선을 정하지 않고 전사에 개방하면 지출은 끝없이 불어납니다. 서둘러 월 1,500달러의 기본 프레임과 같은 이용 상한을 도입했습니다.
• 일본의 대형 소매 체인(AI 도입 지원 회사 블로그의 익명 사례)은 상품 소개 페이지(LP) 제작을 생성형 AI로 효율화하려고 했습니다. 하지만 생성된 문장의 오류나 부적절한 표현을 체크하고 수정하는 것이 새로운 부담이 되어, 전체 공수는 오히려 도입 전보다 1.3배로 늘어났습니다.

Klarna의 사례에서 주목해야 할 점은, 실패가 「처리 건수」라는 양적 KPI로는 보이지 않았다는 점입니다. 건수 KPI는 품질 저하를 숨깁니다. AI는 틀린 답변을 하더라도 1건을 처리한 것으로 간주하기 때문에, 건수만 보고 있으면 순조로워 보입니다. 고객 만족도와 재문의율을 보고 나서야 비로소 파탄이 드러났습니다.

또한, 실패와는 구별해야 할 숫자도 있습니다. Yayoi의 「경리의 날」 조사에 따르면, 경리 담당자의 약 7할이 업무의 6할 이상을 여전히 수작업으로 수행하고 있으며, AI를 본격적으로 도입하고 있는 현장은 약 2할이었습니다. 이것은 실패가 아니라, 도입 자체가 아직 진행되지 않고 있다는 정체(Stagnation)의 통계입니다. AI-OCR이나 자동 분개 등 툴은 다 나와 있는데, 현장에 적용되지 않고 있습니다. 이 「적용 방법」의 문제가 본 기사 후반부의 테마가 됩니다.

실패가 9할인 세상에서, 실측치를 내고 정착까지 이끌어낸 사례가 있습니다. 나열해 보겠습니다. 참고로, 발표된 지 얼마 되지 않은 사례는 전망치만 나와 있기 때문에, 이 기사에서는 운용이 정착되는 것까지 확인된 사례를 우선적으로 선정했습니다. 도입과 효과 측정 시기가 2024~2025년에 치우쳐 있는 이유도 그 때문입니다. Tokio Marine & Nichido만은 운용 개시 직후의 전망 단계이지만, 「AI가 답변안을 내고 사람이 응대한다」라는 형태의 알기 쉬운 실례로서 전망치임을 명기한 후 채록했습니다.

눈치채셨나요? 전부 같은 구조입니다.

AI는 「초안 작성·1차 대응·후보 제시」까지 담당합니다. 확정·승인·예외 대응은 사람이 합니다.

도식화하면 다음과 같습니다.

또 다른 공통점은 대상 업무를 선정하는 방식입니다. 성공한 조직은 모두 「정형·고빈도·초안 작성형」 업무를 선택하고 있습니다. 포맷이 정해진 품의서, 템플릿이 있는 회의록, 규정에 답이 적혀 있는 문의 사항 등입니다. 반대로, 현장의 판단이 필요한 업무나 앞서 언급한 상품 소개 페이지처럼 교정(Proofreading) 부하가 큰 성과물은 처음부터 대상에서 제외합니다.

화려한 사례도 있습니다. 캐나다 앨버타 주 정부는 노후화된 주 정부 시스템의 취약점 감사에 Anthropic의 코딩 AI인 「Claude Code」를 사용하여, 4.66억 행의 코드를 약 50개의 에이전트(Agent) 병렬 가동을 통해 약 20시간 만에 스캔했습니다. 검출된 취약점에 대해서는 AI가 수정안과 테스트까지 생성합니다. 다만, 이 사례조차 모든 패치는 주 정부 엔지니어가 리뷰 및 승인한 후 배포합니다. 규모가 달라져도 분업 구조는 동일했습니다.

수집한 사례를 두 가지 조건으로 걸러냈습니다. 서로 다른 조직이 같은 방식으로 성과를 내고 있다는 것, 그리고 특별한 개발 없이 기성 도구(Off-the-shelf tools)로 시작할 수 있다는 것입니다. 이 조건으로 압축하면 남은 유형은 3가지였습니다.

총무·경리·인사 부서에는 「경비 정산 마감일은 언제인가요?」, 「이 규정은 어떻게 해석하나요?」와 같은 문의가 매일 도착합니다. 이에 봇(Bot)으로 1차 답변을 하게 하는 것이 이 유형입니다. 사용하는 것은 RAG (Retrieval-Augmented Generation, 검색 증강 생성)라는 메커니즘으로, AI가 답변하기 전에 사내 규정이나 FAQ를 검색하여 찾아낸 문서를 근거로 답변합니다.

실명으로 실측치를 공개하고 있는 예로 SmartHR의 자체 실증 사례가 있습니다. 인사·노무 매뉴얼을 학습시킨 AI 어시스턴트를 약 1,500명의 직원에게 개방하여 1개월간 측정한 결과, 문의 사항은 전체적으로 약 10%, 총무·정보시스템(IT) 부문에서는 약 20% 감소했습니다 (자사 제품을 자사에서 실증했다는 점은 감안해 주십시오). 소박한 숫자이지만, 이 조건으로 공개된 수치는 이 정도입니다. 첫 번째 기대치로서는 이 정도가 현실적이라고 생각합니다.

성패를 가르는 것은 AI의 똑똑함이 아니라, 사내 문서의 정비 상태와 출처 표시입니다. 참조 문서가 정리되지 않은 채 RAG에 올리면, 엉뚱한 답변을 연발하여 신뢰를 잃고 다시는 사용되지 않게 됩니다. 답변에는 반드시 출처 링크를 첨부하여 사람이 검증할 수 있도록 합니다.

송장이나 장표를 AI-OCR로 읽어 들여 분개(Journal entry) 후보까지 자동으로 제시하게 하고, 사람은 확인과 수정만 담당하는 유형입니다. 최근에는 IDP (Intelligent Document Processing, 지능형 문서 처리)라고 불리는 기술도 보급되고 있습니다. 장표의 내용을 이해하여 항목 추출부터 「판단」 지원까지 수행하는 문서 처리 기술로, 비정형 장표로도 적용 범위가 넓어지고 있습니다.

실명 사례로는 ZOZO가 송장 자동 처리 서비스를 도입하여, 종이 처리와 수기 입력을 줄임으로써 월간 결산 마감 기간을 7영업일에서 3.5영업일로 절반 단축했습니다 (2021년, 벤더 측 사례 공개). 생성형 AI 붐이 일기 전부터 이 유형으로 성과를 내고 있었다는 것은, 그만큼 실적이 쌓인 신뢰도 높은 유형이라는 뜻입니다.

주의해야 할 점은 측정 방식입니다. 확인에 드는 수고를 원가에 포함하여 「순수(Net)」 기준으로 측정해야 합니다. 이를 잊으면 「처리는 빠른데 사람은 전혀 줄지 않는다」는 착각에 빠지게 됩니다. 또한, 갑자기 모든 장표를 대상으로 하지 말고, 포맷이 통일된 거래처부터 시작합니다.

품의서, 채용 공고, 규정, 신청서와 같이 입력 항목과 형식이 정해져 있는 문서를 AI가 초안을 작성하게 하는 유형입니다. 하는 일은 단순합니다. 문서 템플릿과 안건별 정보(기밀 제외)를 AI에게 전달하여 초안을 만들게 합니다. 사람은 처음부터 쓰는 대신, 나온 초안의 사실관계·수치·고유명사를 확인하여 마무리하기만 하면 됩니다. 즉, 사람의 업무가 「집필」에서 「교정」으로 바뀌는 것이 이 유형의 본질입니다.

미야자키 은행의 품의서 95% 절감이 이 유형의 대표적인 사례입니다. 40분에서 2~3분으로 줄었다는 수치는, 「쓰는 시간」이 거의 사라지고 「확인하는 시간」만 남았다고 해석하면 납득이 갈 것입니다.

반대로 효과가 없는 것은 형식이 매번 다른 문서나, 현장의 판단이 본문의 중심이 되는 문서입니다. 섹션 1에서 소개한 상품 소개 페이지의 실패는 교정 부하가 너무 커서 이 유형의 조건에서 벗어난 사례이기도 합니다.

PS 솔루션즈의 고안은 실무적이었습니다. 기밀성이 낮은 정보만을 대상으로 한다는 선긋기를 먼저 마친 후 시작하는 것입니다. 기밀의 경계를 미리 정해두면, 유출 리스크 논의 때문에 도입이 중단되는 일도 없습니다.

그런데, 지금까지 나열한 「95% 절감」과 같은 숫자들을 어디까지 믿어도 될까요? 사실 이번 조사에서 가장 가슴이 철렁했던 점은 이 숫자의 사실 확인(Back-checking)이었습니다.

미야자키 은행(Miyazaki Bank)의 사례를 조사했을 때, 일부 요약 기사에는 「2시간 → 몇 분」이라고 적혀 있었습니다. 하지만 1차 정보인 IBM 뉴스룸과 니케이(Nikkei) 기사를 확인해보니 「40분 → 2~3분」이었습니다. 절감률은 똑같은 95%였지만, 분모가 3배나 부풀려져 있었던 것입니다. 요약 기사의 숫자는 전언 게임(伝言ゲーム)을 거치며 부풀려집니다. 이 경험을 바탕으로 숫자를 볼 때의 체크포인트를 세 가지로 정리했습니다.

① 실측인가, 전망치인가. 미야자키 은행의 95%는 전 점포에 전개 완료된 실측치입니다. 반면, 미국 SaaS 대기업 ServiceNow가 영업 부문에 AI를 배포한 사례의 「상담 준비를 최대 95% 절감」은 초기 테스트의 유리한 조건을 벤더(Vendor)가 발표한 것입니다. 도쿄해상일동(Tokio Marine & Nichido)의 연간 9만 시간 역시 운용 개시 시점의 전망치입니다. 같은 헤드라인의 숫자라도 그 무게는 전혀 다릅니다.

② 누가 말하고 있는가. 숫자의 신뢰도에는 단계가 있습니다. 가장 할인해서 봐야 할 것은 AI를 파는 측(벤더)이 발표한 숫자로, 이는 광고로서 별도로 취급해야 합니다. 도입한 기업 자체의 발표는 그보다 신뢰할 수 있지만, 대부분 제3자의 검증이 없습니다. 그중에서도 섹션 2에서 언급한 나가노 시민병원의 숫자가 비교적 신뢰하기 쉬운 이유는, 측정 기간, 대상자 111명, 조사 방법까지 스스로 공개하여 독자가 숫자의 한계를 직접 확인할 수 있기 때문입니다.

③ 무엇을 측정한 숫자 인가. 미야자키 은행의 95%는 「결재 서류(稟議書) 작성 시간」의 절감이지, 심사 업무 전체가 아닙니다. 금융 대기업 Morgan Stanley의 「28만 시간 절약」도 오래된 코드를 AI에게 읽혀 사양서로 옮겨 적는다는 한 공정에 국한된 이야기입니다. 숫자 자체는 사실일지라도, 적용 범위가 업무 전체인지 아니면 한 공정인지에 따라 의미는 크게 달라집니다. 그 숫자가 어느 범위를 측정한 것인지, 즉 분모를 확인하지 않으면 한 공정의 효과를 업무 전체의 효과인 것처럼 확대 해석하게 됩니다.

이 세 가지 척도는 본 기사의 숫자에도 그대로 적용하고 있습니다. 섹션 2의 표에 붙인 「※전망치」, 「※현장의 목소리 기반」이라는 주석이나, SmartHR·ZOZO의 사례에 덧붙인 단서 조항은 이러한 체크를 거친 흔적입니다. 여기까지 나온 숫자들은 모두 이러한 할인 과정을 마친 상태로 읽으실 수 있도록 준비되어 있습니다.

실패 사례를 깊이 읽어 내려가다 보면, 업종이 달라도 진행 방식이 대체로 비슷한 경로를 따르고 있다는 것을 깨닫게 됩니다.

AI 도입 지원 회사가 익명 사례로 소개한 한 중견 제조업체에서는 경영진의 의지로 「전사 동시 AI화」가 기획되었습니다. 반년 이상 모든 부서에 대한 인터뷰와 요건 정의(Requirements Definition)를 반복하는 동안 현장은 피폐해졌고, 시험 도입조차 시작하지 못한 채 프로젝트는 사실상 중단되었습니다. 작게 시작하여 효과를 확인하는 설계가 없었던 것이 원인이라고 분석됩니다. MIT가 말하는 「95%의 실패」 역시, 주된 원인은 기술이 아니라 「측정하지 않고 시험 도입을 양산하는」 식의 진행 방식에 있다고 각 조사 결과는 지적합니다.

또 다른 전형은 앞서 언급한 상품 소개 페이지의 예입니다. 생성은 해냈지만, 오류 체크와 수정 작업이 무거워 공수는 오히려 도입 전보다 1.3배 늘어났습니다. 「생성할 수 있다」와 「효율화할 수 있다」 사이에는 사람에 의한 리뷰(Review)라는 원가가 끼어 있습니다.

성공한 조직은 이 경로를 정확히 반대로 밟고 있습니다. 쓰쿠바 시청은 하나의 회의체에서 효과를 확인한 후, 30개가 넘는 부서로 확대했습니다. 순서가 반대일 뿐, 결과는 정반대가 됩니다.

지금까지의 교훈을 한마디로 요약하면 「모델의 최신성이 아니라, 업무에 어떻게 얹느냐(載せ方)가 승부를 가른다」입니다.

그 근거는 지금까지의 사례가 그대로 보여줍니다. 누구나 비슷한 수준의 AI를 사용할 수 있는 시대임에도, 업무 시간을 절감한 이용자는 4명 중 1명뿐이었습니다 (Persol 조사). 성과의 차이가 모델의 성능에 있다면, 같은 AI를 사용하면서 이 정도의 차이가 나지는 않을 것입니다. 실제로 Klarna는 당시 최첨단 AI를 사용했음에도 운용 설계에서 실패했고, ZOZO는 생성형 AI 붐 이전의 AI-OCR로 성과를 내고 있습니다. 최신 모델로도 실패하고, 오래된 모델로도 성공합니다. 승부를 가르는 것은 어떤 업무를 선택하는지, AI와 사람을 어떻게 분업시키는지, 무엇을 측정하는지라는 「얹는 방식」의 문제입니다.

사실 AI 업계 자체도 같은 결론을 향해 움직이고 있습니다.

• 엔터프라이즈(Enterprise)의 AI 지출은 「어쨌든 사용하게 만든다」 단계에서 효율 중시 단계로 옮겨가고 있습니다. Uber의 예산 고갈과 상한 도입은 이러한 맥락에서의 사건입니다 (CNBC 보도).
• OpenAI는 시트나 슬라이드 등의 결과물을 완성하는 ChatGPT Work를 투입했습니다.
• Anthropic은 미국 투자 대기업 Blackstone 등과 함께 구현 전문 합작 회사인 「Ode」에 주력하고 있습니다. 가치는 모델보다 구현(Implementation)에 있다는 도박입니다.

AI 벤더 스스로가 모델의 성능 경쟁에서 「업무에 어떻게 적용할 것인가」로 축을 옮기고 있다는 뜻입니다. 이는 현장에서 해야 할 일과도 일치합니다.

지금까지의 지견을 액션(Action)으로 옮기면 다음과 같은 순서가 됩니다. 많은 도입 사례가 「우선 툴을 계약하고, 용도는 나중에 찾는다」는 순서로 시작되어 실패합니다. 여기서는 반대로, 툴을 선택하는 것은 업무와 척도(물질)를 정한 후입니다.

• 「정형·고빈도·초안 작성형」 업무를 하나 선택한다. 회의록, 송장 입력, 규정 문의 대응, 정형 문서 중 하나입니다.
• 베이스라인(Baseline)을 1~2주 동안만 실측한다. 건당 몇 분이 소요되는지, 스톱워치만으로도 충분합니다.
• 기밀의 경계를 먼저 정한다. AI에 입력하는 문장(프롬프트, Prompt)에 무엇을 담아서는 안 되는지에 대한 선긋기입니다.
• 기성 툴로 「AI가 초안 작성 → 사람이 확정」하는 플로우(Flow)를 구축한다. RAG라면 출처 표시를 필수적으로 합니다.
• 확인·교정의 수고까지 포함한 「순수(Net)」 시간으로 재측정하고, 효과가 나타나면 수평 전개한다.

반대로, 해서는 안 되는 것이 「일단 전사에 채팅 AI를 배포하고 상황을 지켜본다」입니다. 스미토모 상사는 배포에서 끝내지 않고, 연수나 활용 문화 조성에 투자를 지속하고 있으며, 최근에는 AI 스킬을 인사 등급에 포함하는 제도까지 발표했습니다. 월간 이용률 약 90%라는 정착은 이러한 지속적인 설계와 세트로 실현된 것입니다.

성과를 낸 조직은 특별한 모델도 특별한 인재도 사용하지 않았습니다. 정형 업무를 하나 선택하고, 현재의 공수를 측정하며, AI에게 초안을 작성하게 하고 사람이 확정한다. 그것을 정성스럽게 수행하며, 효과가 있는 곳부터 넓혀가고 있을 뿐입니다.

화려함은 없지만, 실패가 9할인 통계 속에서 재현성을 확인할 수 있었던 것은 이 모델뿐이었습니다. 우선 자신의 업무에서 건당 몇 분이 소요되는지를 측정하는 것부터 시작해 보시기 바랍니다.

• 미야자키 은행 × 일본 IBM: 융자 품의서에 생성형 AI (IBM newsroom)

• 스미토모 상사: Microsoft 365 Copilot 전사 도입 효과 (공식)

• 나가노 시민 병원: 연간 5,472시간의 업무 효율화 (PR TIMES)

• 쓰쿠바 시청: 회의록 작성 감소 (AmiVoice 도입 사례)

• PS 솔루션즈: 백오피스 생성형 AI (PR TIMES)

• 도쿄해상일동: 컨택트 센터 AI (CTC 보도자료)

• SmartHR: 사내 AI 어시스턴트로 문의 약 10~20% 감소 (자사 블로그)

• ZOZO: 송장 처리 자동화로 월 결산을 7일 → 3.5 영업일로 단축 (sweeep 보도자료)

• Government of Alberta × Claude Code (Anthropic)

• MIT 보고: 95%가 재무 효과 없음 (Fortune)

• Sinch 「AI Production Paradox」: 74%가 철회 (PR Newswire)

• S&P Global: 중단 기업 17% → 42%

• BCG: Are You Generating Value from AI?

• Klarna: AI 전면 교체 철회 (Customer Experience Dive)

• 퍼솔 종합연구소: 생성형 AI와 일하는 방식에 관한 실태 조사

• 야요이: 「경리(회계)의 날」 실태 조사

• 그래프: AI 도입 실패 사례 (중견 제조업·대형 소매 체인의 익명 사례)

※ 효과 수치의 대부분은 당사자·벤더 발표이며, 제3자 검증이 없는 것을 포함합니다. 본문 중에서 실측/전망/벤더 공표의 구분을 명기하고 있습니다.