거의 모든 CTO에게 회사 AI initiatives 진행 상황을 물어보면 이상하게 일관된 답변을 듣게 됩니다. 바로 몇 개의 유망한 파일럿 프로젝트, 초기 프로젝트 팀의 많은 열정, 그리고 1년 후에는 실제로 비즈니스를 구동하는 것이 거의 없다는 것입니다. 업계 설문조사는 항상 비슷한 수치를 보여줍니다. 즉, 10개의 AI 파일럿 중 약 8~9개는 프로덕션 단계에 도달하지 못합니다. 이것은 모델의 문제가 아닙니다. 만약 모델 문제였다면, 더 나은 모델들이 이미 이 문제를 해결했을 것이고, 그렇지 않습니다. 이것은 인프라 문제입니다. 그리고 프로젝트가 진행되는 동안에는 거의 항상 눈에 보이지 않습니다.

실제로는 이런 일이 벌어집니다. 팀이 개념 증명(proof-of-concept)을 만듭니다. 어쩌면 문서 지능 도구일 수도 있고, 고객 대면 비서일 수도 있으며, 사기 모델일 수도 있습니다. 그리고 이 프로젝트는 깨끗하게 선별된 테스트 데이터에 대해서는 잘 작동합니다. 리더십은 흥분하고, 실제 배포를 위한 예산이 승인됩니다. 그러다가 현실과 마주칩니다. 실제 문서는 샘플보다 더 지저분하고, 실제 사용량은 파일럿 때 본 것보다 훨씬 높으며, 어느 정도 3개월쯤 되었을 때 보안이나 컴플라이언스(compliance) 담당자가 아무도 준비하지 못한 질문을 던집니다. '이 데이터가 정확히 어디로 가나요?', '누가 로그를 볼 수 있나요?', '만약 모델이 실제로 중요한 결정에서 잘못된 것을 얻으면 어떻게 되나요?' 보통 이 순간에 프로젝트는 조용히 좌초되거나, 재구축되거나, 아예 보류됩니다.

이 모든 문제가 근본적인 AI 모델 자체가 충분했는지 여부와는 관련이 없습니다. 중요한 것은 그것을 구축하는 회사가 실제로 AI를 단순한 기능(feature)으로 기존 제품에 붙이는 것이 아니라, 비즈니스가 실제로 의존할 수 있는 거버넌스(governance), 관찰 가능성(observable), 보안성을 갖춘 시스템으로서 운영하는 데 필요한 것을 이해하고 있는지 여부입니다. 이는 멋진 데모를 구축하는 것과는 의미상 완전히 다른 기술 세트이며, 이것이 AI 벤더와 진정한 엔터프라이즈 AI 기업 사이의 구분이 생각보다 훨씬 중요하다는 이유입니다. 엔터프라이즈 AI 기업은 고객사 로고의 크기로 정의되는 것이 아닙니다. 거버넌스, 감사 가능성(auditability), 보안성이 원래 아키텍처의 일부였는지, 아니면 컴플라이언스 검토에서 아무도 예상하지 못한 격차를 발견한 후에 억지로 끼워 맞춘 것인지를 통해 정의됩니다.

이러한 테스트는 'AI 인프라 기업'이라는 문구에도 적용되며, 이 용어는 훨씬 더 느슨하게 사용되고 있습니다. 인프라는 15분짜리 데모가 결코 보여주지 못하는 모델 아래의 모든 것을 의미합니다. 시스템이 오래되거나 일반적인 학습 지식 대신 조직의 실제 현재 데이터에서 답변을 검색하고 근거를 마련하는 방식, 실제 트래픽이 테스트 트래픽을 대체했을 때 확장되는 방식, 공유 환경에서 한 고객의 정보가 다른 고객의 정보와 완전히 격리되는 방식, 그리고 화난 고객에게 6개월 후에 알게 되는 대신 출력 품질이 조용히 드리프트(drift)하기 시작할 때 누가 경고를 받는지 등이 포함됩니다. 사람들이 'AI가 충분히 정확하지 않다'라고 설명하는 대부분의 것은 자세히 살펴보면 이러한 인프라 격차 중 하나가 모델의 이름을 달고 있는 것에 불과합니다. 더 나은 모델로 교체한다고 해서 거의 해결되지 않습니다. 데이터 파이프라인, 거버넌스 계층, 그리고 그 아래의 모니터링을 재구축하는 것이 보통 문제를 해결합니다.

이것이 바로 운영 순서가 대부분의 기업들이 생각하는 것보다 더 중요하다는 이유입니다. 실제로 AI를 프로덕션 환경에서 가동하고 지속시키는 비즈니스는 계약에 서명하기 전에 더 어려운 질문을 던지는 경향이 있습니다. 즉, '이걸 만들 수 있나요?'라는 질문(거의 모든 벤더가 '예'라고 대답할 질문)이 아니라, 초기 흥분이 가시고 시스템이 단순히 일상적인 업무 운영의 일부가 되었을 때도 1년 후에 여전히 신뢰할 수 있고, 감사 가능하며, 안전할 것인지에 대한 질문입니다. 이는 어떤 라벨을 사용하든 던질 수 있는 합리적인 질문이며, 이를 솔직하게 답변할 능력이 있는 회사들이 애초에 고용할 가치가 있는 곳인 경우가 많습니다.