대부분의 기업이 AI 도입 2년 차에 저지르는 예산 실수

AI 도입 첫해의 예산은 명확합니다. 라이선스를 구매하고, 구현 비용을 지불하며, 파일럿 (Pilot) 프로그램을 운영합니다. 비용은 눈에 보이며 카테고리도 합리적입니다.

예산 실수가 발생하는 시점은 2년 차이며, 이들은 모두 동일한 패턴을 따릅니다. 조직이 AI 도구를 가치를 유지하기 위해 지속적인 투자가 필요한 인프라 (Infrastructure)로 취급하는 대신, 고정된 항목 (Fixed line item)으로 취급하는 것입니다.

실제 사례는 다음과 같습니다.

라이선스는 자동으로 갱신됩니다. 그 부분은 처리됩니다. 하지만 AI를 실제로 유용하게 유지하는 작업, 즉 프롬프트 정교화 (Prompt refinement), 문서 위생 (Document hygiene), 인덱스 유지 관리 (Index maintenance), 비즈니스 변화에 따른 워크플로 (Workflow) 조정 등은 도구에 관심을 갖는 누군가에게 보이지 않게 흡수됩니다. 대개 이는 관심을 가진 한두 명의 직원이 자신의 실제 직무 외에 부수적으로 수행하게 되며, 이 작업이 진행되고 있다는 공식적인 인정이나 필요한 시간에 대한 보호도 받지 못합니다.

이 사람들이 다른 우선순위로 바빠지게 되면 (이는 누구에게나 언젠가 일어나는 일입니다), AI 도구는 조용히 퇴보합니다. 지식 베이스 (Knowledge base)는 노후화됩니다. 프롬프트는 비즈니스의 변화를 반영하도록 업데이트되지 않습니다. 검색 (Retrieval)은 오래된 정보를 반환하기 시작합니다. 사용자는 도구를 덜 신뢰하게 됩니다. 도입률 (Adoption)이 떨어집니다. 경영진이 문제를 알아차릴 때쯤이면, 문제는 이미 몇 달 동안 쌓여온 상태가 됩니다.

예산 실수는 기술 비용을 전체 비용으로 간주하고, 기술의 가치를 유지하기 위한 노동 비용 (Labor cost)을 무시하는 것입니다.

해결책은 복잡하지 않지만 명시적인 결정이 필요합니다. 누군가가 IT 인프라를 관리하는 것과 동일한 방식으로 AI 인프라를 책임져야 합니다. 이러한 책임에는 단순한 선의가 아닌 직무 기술서 (Job description)가 필요합니다. 필요한 시간은 그 사람의 업무량에 추가되는 것이 아니라, 업무량 자체에 포함되어야 합니다. 그리고 2년 차의 예산 논의에는 단순히 라이선스 갱신뿐만 아니라 유지 관리 노동 (Maintenance labor)을 위한 항목이 포함되어야 합니다.

실제로 얼마나 많은 시간이 필요한지는 배포 규모에 따라 달라집니다. 워크플로우 (Workflows)에 진정으로 내재화된 몇 가지 AI 도구를 사용하는 100명 규모의 기업의 경우, 담당자가 누구든 관계없이 유의미한 AI 인프라 (AI infrastructure) 유지 관리에 주당 약 10~15시간 정도가 소요되는 것을 일반적으로 목격합니다. 이것은 실제 비용입니다. 제가 살펴본 대부분의 기업에서는 아무도 이를 공식적으로 계상하지 않았습니다.

여러 해에 걸쳐 AI 가치를 지속하는 조직은 자신들이 소프트웨어를 사는 것이 아니라 인프라를 구축하고 있다는 사실을 조기에 인식한 조직들입니다. 인프라는 유용성을 유지하기 위해 지속적인 투자가 필요합니다. 이를 인식하지 못한 조직들은 1년 차에는 잘 작동하다가 2년 차에 조용히 신뢰할 수 없게 되어버린 AI 도구들의 무덤을 갖게 됩니다.