AI는 이미 기업 자원입니다. 그런데 왜 여전히 소프트웨어처럼 관리하고 있을까요?

대부분의 기업은 AI를 하나의 소프트웨어 항목으로 추적합니다. 하지만 AI는 단순히 지원하는 것을 넘어 점점 직접 업무를 수행하고 있으며, 이는 진정한 질문이 '우리가 AI에 얼마나 지출하고 있는가?'가 아니라 '어떤 성과를 내고 있고, 누가 그 성과를 소유하는가?'라는 의미입니다.

회의실의 누구도 답할 수 없었습니다. 팀이 부주의해서가 아니라, 지난 20년간 그들이 구축한 어떤 것도 이 질문에 답하도록 설계되지 않았기 때문입니다.

이것이 제가 이야기하고 싶은 간극(gap)입니다. 본 기사에서 저는 AI가 기업이 전통적으로 기술을 관리하는 방식을 어떻게 무너뜨리는지, 왜 증가하는 AI 비용이 질병 자체가 아니라 증상인지, 그리고 실제로 효과를 본 5가지 부분으로 구성된 거버넌스 모델에 대해 설명할 것입니다.

모든 기술 파동은 새로운 관리 규율을 만듭니다

모든 주요 기업 기술의 물결은 단지 기업이 어떻게 일하는지뿐만 아니라, 무엇을 관리해야 하는지를 변화시킵니다. 클라우드는 컴퓨팅 자원을 온디맨드(on-demand) 자원으로 만들었고, 우리는 클라우드 경제학과 FinOps를 얻었습니다. SaaS는 방대한 구독 포트폴리오를 제공했고, 우리는 소프트웨어 조달, 접근 관리, 공급업체 거버넌스를 얻었습니다.

생성형 AI(Generative AI)가 다음 물결입니다. 그리고 대부분의 기업은 아직 이를 위한 규율을 구축하지 못했습니다.

규모 때문에 이것은 시급합니다. Gartner는 글로벌 AI 지출이 2026년까지 전년 대비 47% 증가하여 2조 5,900억 달러에 이를 것으로 예상합니다. 한편, McKinsey의 State of AI 2025 보고서는 조직의 88%가 최소한 하나의 기능에서 AI를 사용하고 있지만, 그중 단지 39%만이 이에 대한 어떤 EBIT(이자 및 세금 차감 전 이익) 영향도 입증할 수 있으며, 대부분은 5% 미만입니다.

이것은 대부분의 기업이 측정할 수 없는 것에 흘러 들어가는 엄청난 돈입니다.

진짜 문제는 증가하는 AI 비용이 아닙니다

현재 엔터프라이즈 AI 대화는 비용에 관한 것이 대부분이며, 우려할 만한 이유가 있습니다. Gartner는 2028년까지 최소 절반의 GenAI 프로젝트가 잘못된 아키텍처 선택과 운영 노하우 부족으로 예산을 초과할 것으로 예측합니다.

하지만 저는 비용이 증상이라고 주장하고 싶습니다. 진짜 문제는 대부분의 기업이 실제로 무엇에 대해 돈을 지불하는지 가시성이 없다는 것입니다.

조직에 대해 다음 질문들에 답해 보세요:

AI가 실제로 사용되는 곳은 어디이며, 팀들이 요청하지 않고 채택한 도구는 무엇인가요?
어떤 워크플로우가 측정 가능한 가치를 창출하고 있나요?
어떤 팀이 가장 많은 AI 리소스를 소비하며, 그중 중복하는 팀이 있나요?
자신 있게 "이것이 우리에게 돈을 벌어다 주었다"고 말할 수 있는 자동화 사례는 무엇인가요?
어떤 모델이 어떤 작업에 적합한가요?

제 경험상, 대부분의 리더십 팀은 이 질문들에 대해 정확하게 답하지 못합니다. 재무팀(Finance)은 AI 지출이 모델 사용, 인프라, 데이터 서비스, 통합, 그리고 인간 검토 등 여러 곳에 분산되어 있다는 것은 알지만, 이를 결과와 연결시키지 못합니다. 운영팀(Operations)은 어떤 워크플로우가 중요한지 모른 채 도입 건수만 추적합니다. IT 부서는 모델, 코파일럿(copilots), 에이전트(agents)의 증가하는 웹을 관리하지만, 이들이 어떻게 중복되는지 또는 어떤 의존성을 조용히 만들어냈는지에 대한 명확한 그림이 없습니다.

문제는 지출 통제가 아닙니다. 문제는 **가시성(visibility), 평가(evaluation), 그리고 기여도 측정(attribution)**입니다.

더 저렴해진 토큰이 당신을 구원할 수 없는 이유

여기서 많은 임원들이 놀라는 부분이 있습니다. AI의 단위 가격은 빠르게 하락하고 있습니다. Gartner는 2030년까지 트릴리언-파라미터 모델(trillion-parameter model)에서 추론(inference)을 실행하는 비용이 제공업체들에게 2025년 대비 90% 이상 저렴해질 것으로 예측합니다.

그런데도 같은 회사에서는 에이전트 기반 워크플로우(agentic workflow)당 추론 비용이 2028년까지 5배 이상 증가할 것으로 예상하는데, 이는 에이전트가 표준 챗봇보다 작업당 약 5배에서 30배 더 많은 토큰을 사용하기 때문입니다.

토큰은 저렴해지지만, 결과는 비싸집니다. 만약 당신이 오직 토큰당 가격만 보고 있다면, 잘못된 숫자를 보고 있는 것입니다.

AI가 운영 비용에 새로운 계층을 추가하다: 의사결정 능력(Decision-Making Capacity)

수십 년 동안 기업들은 사업을 운영하는 데 필요한 것을 측정하기 위해 점점 더 정교한 시스템을 구축해 왔습니다. 처음에는 인력과 노동 역량이었습니다. 그다음은 소프트웨어였습니다. 그리고 인프라가 이어졌죠. 클라우드는 소비를 동적으로 만들었습니다. 이제는 어떤 기술을 소유하고 있는지 아는 것만으로는 충분하지 않았고, 얼마나 사용하고 있는지를 알아야 했습니다.

AI는 이 모든 것에 새로운 계층을 추가합니다: 의사결정 능력입니다.

AI는 더 이상 업무를 지원하는 역할에 머무르지 않습니다. 점점 자체적으로 업무의 일부를 수행하고 있습니다. 계약서를 분석하고, 영업 잠재 고객을 우선순위화하며, 비정상적인 패턴을 감지하고, 고객에게 답변하며, 코드를 작성하고, 요청을 라우팅합니다. 에이전트(agent)가 더 유능해질수록, 인간의 개입 없이도 이러한 태스크들을 조정하게 됩니다.

이러한 상황에서는 AI를 단순히 소프트웨어 항목으로 취급하는 것이 의미가 없어집니다. 올바른 질문은 다음과 같습니다: 우리가 구매하는 운영 역량(operational capacity)은 무엇이며, 어디에 적용되고, 어떤 결과를 만들어내는가?

전통적인 거버넌스가 무너지는 이유

전통적인 소프트웨어 거버넌스는 안정적인 객체들을 위해 구축되었습니다. 라이선스는 라이선스이고, 앱(app)은 매일 거의 같은 일을 합니다.

AI는 그렇게 작동하지 않습니다. 그 행동은 모델(model), 프롬프트(prompt), 데이터(data), 컨텍스트(context), 연결된 도구(connected tools), 그리고 주변 워크플로우(workflow)에 따라 변화합니다. 동일한 비즈니스 업무가 매우 다른 비용과 품질 수준으로 여러 모델에 의해 처리될 수 있습니다. 에이전트는 아무도 특정 이벤트 체인을 승인하지 않은 상태에서, 다른 시스템을 호출하거나, 추가 자원을 소비하거나, 고객 및 직원에게 영향을 미치는 결정을 내릴 수도 있습니다.

따라서 AI 거버넌스는 **"누가 소프트웨어를 소유하는가"**에서 **"누가 결과(outcome)를 소유하는가"**로 이동해야 합니다.

고객 서비스 사례를 생각해 봅시다. 질문은 단순히 "우리가 이 모델을 승인했는가?"가 아닙니다. 다음과 같습니다:

이 워크플로우가 실제로 문제를 올바르게 해결하는가?
적절한 케이스로 에스컬레이션(escalating)하고 있는가?
각 성공적인 해결에 드는 비용은 얼마인가?
성능이 저하될 때 누가 책임을 지는가?

마지막 비용 질문은 생각보다 중요합니다. Gartner는 2030년까지 고객 서비스 분야에서 GenAI의 해결당 비용(cost per resolution)이 $3를 초과하여, 많은 오프쇼어 인간 에이전트보다 높을 것으로 예측했습니다. 단순히 "지원에서의 AI 도입률"만 추적하는 회사는 이를 결코 예상하지 못할 것입니다. 하지만 해결당 비용을 추적하는 회사는 그럴 수 있습니다.

실제로 적합한 거버넌스 프레임워크

모델은 계속 변화할 것이고, 조직들은 한 번에 여러 모델을 사용할 것입니다. 따라서 거버넌스는 개별 모델을 통제하는 방식으로 구축될 수 없습니다. AI가 작동하는 시스템 자체에 초점을 맞춰야 합니다. 제 관점에서 볼 때, 이는 다섯 가지 원칙으로 귀결됩니다.

1. 가시성 (Visibility). 애플리케이션, 워크플로우, 팀, 에이전트 전반에 걸쳐 AI가 어디에 사용되고 있는지 최신 지도를 유지해야 합니다. 볼 수 없는 것은 거버넌스할 수 없습니다.

2. 기여도 (Attribution). 사용량을 결과와 연결해야 합니다. 백만 건의 모델 호출 자체로는 아무것도 알려주지 못합니다. 그 호출들이 무엇을 달성했습니까?

3. 최적화 (Optimization). 모든 작업이 가장 강력하고 가장 비싼 모델을 필요로 하는 것은 아닙니다. 비용, 속도, 위험, 그리고 해당 작업이 실제로 요구하는 품질에 따라 모델 간에 작업을 라우팅해야 합니다. Gartner 역시 같은 점을 지적합니다. 일상적이고 빈번한 작업은 더 작고 도메인 특화된 모델로 보내져야 합니다.

4. 책임 소재 (Accountability). 모든 AI 기반 워크플로우는 이름을 가진 소유자가 필요하며, 배포하는 것뿐만 아니라 시간이 지남에 따라 어떻게 작동하는지에 대해서도 책임이 있습니다.

5. 연속성 (Continuity). AI 시스템은 연간 검토나 정적인 승인으로는 너무 빠르게 움직입니다. 비용, 행동, 품질, 그리고 의존성은 주마다 변할 수 있습니다. 모니터링은 그 속도를 따라잡아야 합니다.

이것은 단순히 IT의 문제가 아닙니다

AI 거버넌스는 IT 부서만의 영역일 수 없습니다. 이는 재무, 운영, 기술, 비즈니스 리더십 전반에 걸쳐 임원급 역량(executive discipline)이 되고 있습니다. McKinsey의 연구도 같은 방향을 가리킵니다. AI로부터 가장 많은 가치를 얻는 기업들은 워크플로우를 재설계하고 고위 리더십이 AI 거버넌스를 담당하게 하는 회사들입니다.

AI를 계속 SaaS 구독처럼 취급하는 회사들은 파편화된 도입, 중복되는 기능, 증가하는 비용, 그리고 명확히 책임질 사람이 없는 상황에 처할 것입니다. 반면, 이를 핵심 운영 자원(core operational resource)으로 다루는 회사들은 자신들의 지능이 어디에 적용되고 있는지, 그것이 얼마의 비용이 들고, 어떤 가치를 창출하며, 누가 그 결과를 소유하고 있는지 알게 될 것입니다.

월요일 팀에게 물어볼 세 가지 질문

조직이 어느 위치에 서 있는지 알고 싶다면, 여기서부터 시작하세요:

우리가 운영하는 모든 AI 기반 워크플로우를 목록화하고, 각각의 담당자를 지정할 수 있습니까? 가장 큰 세 가지 AI 사용 사례에 대해 총 지출액뿐만 아니라 성공적인 결과당 비용을 알고 있습니까? 더 저렴한 모델이 똑같이 잘 수행할 수 있는지 마지막으로 확인한 것이 언제입니까?

답변이