Entrepreneur Media LLC와 Yahoo Finance LLC는 아래 링크를 통해 일부 제품 및 서비스로부터 수수료 또는 수익을 얻을 수 있습니다.

핵심 요약 (Key Takeaways)

• AI 기술 부채(technical debt)는 더 이상 단순한 IT 문제가 아닙니다. 이는 ROI를 직접적으로 감소시키고 기업의 AI 도입 속도를 늦추는 비즈니스 문제입니다.

• 기존 AI 투자에 대한 감사(audit)를 수행하고, 데이터와 인프라를 강화하며, 가치가 낮은 프로젝트를 제거하는 조직이 지속 가능한 수익을 실현할 준비가 더 잘 되어 있습니다.

모든 것을 올바르게 하셨습니다. AI에 일찍 투자했고, 파일럿을 진행했으며, 이사회 승인을 받았고, AI 우선 전략(AI-first strategy)에 실제 예산을 투입했습니다. 그런데 왜 ROI를 입증하기가 여전히 그렇게 어려운 걸까요?

지난 몇 년 동안 제가 나눈 거의 모든 임원 회의에서 한 가지 문제가 제기되었습니다: 바로 AI 기술 부채입니다. 엔지니어링 팀이 내부적으로 사용하는 정의가 아니라, 그 이면에 있는 비즈니스 비용을 말합니다. AI 도구를 더 빨리 작동시키기 위해 취한 지름길, 원래 그런 시스템에 붙여 넣은 통합(integration), 그리고 데모에서는 빛났지만 실제 운영 환경에서 끊임없는 수정이 필요했던 파일럿들이 모두 쌓여서, 현재 여러분이 쓰는 모든 AI 달러를 잠식하는 비용으로 작용하고 있습니다.

IBM의 Institute for Business Value는 여기에 수치를 제시합니다. 기술 부채를 무시하는 기업은 AI 프로젝트 ROI가 18%에서 29%까지 하락한다고 합니다. 이는 애초에 존재해서는 안 되었던 문제들을 유지보수하고, 패치하고, 우회 처리하는 데 쓰이는 돈입니다. 또한 IBM이 설문조사한 임원 중 81%가 기술 부채가 이미 자신들의 AI 성공을 제약하고 있다고 답했습니다.

왜 AI 부채는 그 어떤 기술 부채보다 빠르게 쌓이는가

기술 부채는 최초의 개발자가 마감 기한을 맞추기 위해 지름길을 택했을 때부터 존재해 왔습니다. 하지만 AI 부채는 다른 규칙으로 작동하며, 저는 이것이 리더들을 새로운 방식으로 방심하게 만드는 것을 목격했습니다.

전통적인 기술 부채(tech debt)는 가만히 있습니다. 오래된 코드베이스, 구식 서버, 몇 년 동안 건드리지 않은 시스템들입니다. 하지만 AI 부채는 움직입니다. 1월에 잘 작동하던 예측 모델이 6월쯤에는 신뢰할 수 없는 결과를 내기 시작합니다. 그 이유는 실제 환경 조건이 변했는데 아무도 재학습(retraining) 주기를 계획하지 않았기 때문입니다. 또한, 팀이 CRM과 AI 분석 도구 사이에 구축한 통합 기능은 두 시스템 중 어느 하나가 업데이트될 때마다 고장 납니다. 각각의 수정 작업은 사소해 보이지만, 12개월 동안의 사소한 수정들이 아무도 예상하지 못한 예산 항목으로 쌓입니다.

여기에 공급업체(vendor) 문제가 있습니다. Gartner는 2027년 말까지 에이전트형 AI(agentic AI) 프로젝트 중 40% 이상이 취소될 것으로 예측하며, 그 이유로 높아지는 비용과 불분명한 비즈니스 가치를 지적합니다. 한 가지 이유는 시장이 Gartner가 '에이전트 워싱(agent washing)'이라고 부르는 것들로 포화 상태이기 때문입니다. 즉, 공급업체들이 챗봇을 AI 에이전트로 재브랜딩하는 것입니다. 수천 개의 에이전트형 AI 공급업체 중에서 Gartner는 실제로 진정한 역량을 제공하는 곳은 약 130개에 불과하다고 추정합니다. 만약 여러분이 데모와 기획서(pitch deck)를 기반으로 구매해 왔다면, 구매한 것이 정말 자격이 되는지 팀에게 물어볼 가치가 있습니다.