「일단 AI 도입」 시대의 종말——다음 승부는 데이터 기반에서 결정된다

2026년 현재, 생성형 AI(Generative AI)·에이전트 AI(Agent AI)의 기업 도입은 급가속되고 있다. 하지만 현장에서는 "PoC(Proof of Concept) 단계에서 멈춤", "기대한 효과가 나오지 않음"이라는 목소리가 끊이지 않는다. 그 근본 원인으로서 여러 조사에서 공통적으로 지적하고 있는 것이 바로 데이터 기반(Data Infrastructure)의 미정비다.

그리고 조사가 직면하게 하는 것은 더욱 잔혹한 사실이다. 데이터 기반을 정비하기 전에 AI로 돌진한 기업의 상당수가 스케일(Scale)의 벽을 넘지 못하고 실패하고 있다——후술하듯이, AI 프로젝트의 약 3분의 2가 스케일화에 실패했으며, 80% 이상의 기업이 데이터 관련 리스크를 이유로 AI 시책의 축소나 중단을 강요받고 있다. "일단 AI부터 시작하자"는 접근 방식은 이제 비용이 많이 드는 도박이 되어가고 있다.

7%만이 도달한 「AI 대응 데이터」

Accenture가 2026년 5월에 공개한 리포트 「AI-Ready Data for Advanced AI」는 15개국·9개 업종·2,000개사의 경영진을 대상으로 한 대규모 조사다.

결과는 충격적이다. 64%의 기업이 AI를 파일럿(Pilot)에서 본 운영으로 진행하고 있음에도 불구하고, 스케일된 첨단 AI에 필요한 데이터 대응 수준에 도달한 기업은 단 7%("데이터 재발명자(data reinventors)")에 불과하다는 것이다.

72%가 AI를 뒷받침하기 위한 품질·거버넌스(Governance)를 갖춘 신뢰할 수 있는 데이터를 보유하지 못하고 있으며, 80% 이상이 데이터 관련 리스크를 이유로 AI·생성형 AI(Generative AI)의 노력을 지연·제한·변경한 경험이 있다.

— Accenture 「AI-Ready Data for Advanced AI」 (2026년 5월)

즉, AI를 "사용하는" 기업은 늘어나도, AI가 "활약할 수 있는 데이터"를 가진 기업은 극히 일부에 한정된다.

데이터 거버넌스의 성숙도가 낮은 것은 일본뿐만이 아니다

이것은 일본 고유의 과제가 아니다. Dataversity(2025년 12월 공개, 2026년 2월 업데이트)가 공개한 데이터 관리 트렌드 리포트는 글로벌에서도 유사한 구조적 문제를 지적하고 있다.

많은 기업이 데이터 거버넌스(Data Governance)를 도입하고 있지만, 성숙도는 낮은 수준에 머물러 있다. 조사 참여자의 61%가 데이터 품질을 최대 과제로 꼽았다. McKinsey에 따르면, 기업의 약 3분의 2가 AI 프로젝트의 스케일화에 실패하고 있으며, 주요 상장 기업의 70%가 혁신 중시에서 ROI(투자 대비 수익) 중시로 축을 옮기고 있다.

— Dataversity 「Data Management Trends in 2026」 (2026년 2월)

"거버넌스는 정비했다"라는 인식과 "실제로 기능하고 있다" 사이에는 큰 격차가 있다. 그 격차가 AI 활용 성과의 차이로 나타나고 있다.

기존 방식의 데이터 관리로는 부족한 이유

기존의 데이터 기반은 **인간 전문가가 이용하는 구조화 데이터(Structured Data)**를 전제로 설계되어 왔다. 리포팅이나 기존 방식의 머신러닝(Machine Learning)용으로는 충분했지만, 생성형 AI(Generative AI)·에이전트 AI(Agent AI)에는 대응할 수 없다.

Accenture는 이러한 변화를 다음과 같이 정리하고 있다.

AI 대응 데이터에 필요한 새로운 요구사항:

요소	설명
신뢰·거버넌스	정확도·일관성·컴플라이언스(Compliance) 보장 (기존에도 필요)
...

특히 중요한 것이 **암묵지(Tacit Knowledge)와 컨텍스트(Context)**다. 에이전트 AI(Agent AI)가 자율적으로 판단·행동하기 위해서는 시스템에 기록된 "What(무엇을 했는가)"뿐만 아니라, 업무 흐름이나 전문가의 경험에 축적된 "How(어떻게 하는가)", "Why(왜 그렇게 하는가)\

자사는 어느 단계인가——RAI 성숙도의 5단계

그렇다면 거버넌스(책임 있는 AI = RAI)의 정비 정도는 어떻게 측정해야 할까. McKinsey는 해당 보고서에서 RAI의 성숙도를 0~4의 5단계로 정의하고 있다(아래 그림).

레벨	상태	구체적인 예시
0	RAI 노력이 없음	—
1	기초적인 RAI 실천을 정비	RAI 원칙 공개, 역할·책임 정의
2	RAI를 조직에 통합 중	주요 리스크 지표 정의, 데이터 품질 가이드라인, 인시던트 대응 계획
3	필요한 RAI 실천 정비에 착수	RAI 프로세스 문서화, 컴플라이언스 평가
4	포괄적·예방적 RAI 실천이 기능	예산·리소스 배분, AI 거버넌스 포럼, 실시간 모니터링

주목해야 할 점은, 여기에 데이터와 관련된 항목이 반복해서 등장한다는 것이다. 레벨 2의 '데이터 품질 가이드라인', 레벨 4의 '실시간 모니터링'——거버넌스의 성숙은 데이터 정비의 성숙과 표리일체(表裏一体)로 되어 있다.

그리고 현실은 냉혹하다. McKinsey의 조사에 따르면, 2026년의 평균 성숙도 스코어는 2.3(2025년의 2.0에서 미증)에 머물며, 전략·거버넌스·에이전트 AI 통제 영역에서 레벨 3 이상에 도달한 조직은 불과 약 3분의 1에 불과하다. 많은 기업이 위 그림의 '레벨 2' 부근에서 제자리걸음을 하고 있는 셈이다.

어떤 차원이 뒤처지고 있는가

성숙도를 RAI의 5개 차원으로 분해하면, 제자리걸음의 정체가 보인다. 아래 그림은 각 차원에서 '레벨 3 이상'에 도달한 조직의 비율을 2025년과 2026년으로 비교한 것이다.

차원	2025년	2026년	변화
전략	24%	32%	+8pt
...

모든 차원이 전진하고 있지만, 편차가 크다. 가장 성숙한 것은 '데이터와 기술'(55%)로, 기술 중심의 능력은 착실히 성장하고 있다. 반면, 이를 하나로 묶어야 할 '전략'(32%)과 '거버넌스'(35%)는 3할 전후에 머물며 뒤처져 있다.

즉, 많은 기업이 데이터나 기술의 정비를 진행하는 한편, 이를 전사적으로 방향 지을 전략과 통치가 따라가지 못하고 있다. 이는 Accenture가 지적한 '데이터 재발명자(data reinventors)는 리소스를 전략적 영역에 집중시킨다'라는 특징의 이면이기도 하다. 기술만 앞서가더라도 전략과 거버넌스가 수반되지 않으면 스케일(scale)의 벽을 넘을 수 없다는 뜻이다.

Accenture의 '데이터 대응 기업은 7%'라는 숫자와 McKinsey의 '레벨 3 이상은 약 3분의 1'이라는 숫자. 조사 주체도 평가 축도 다르지만, '도입은 진행되더라도 토대가 따라가지 못하고 있다'는 구도는 일치한다.

3단계 실천 접근법

Accenture의 보고서는 '단 한 번의 변혁'이 아니라 **지속적인 루프(loop)**로서 AI 대응 데이터를 구축하는 접근법을 제시하고 있다.

① 신뢰·재사용 가능한 데이터의 취득

페더레이션형(Federated) 모델로 각 도메인이 데이터 품질을 소유하면서도, 전사 공통 표준을 설정
거버넌스 정책·데이터 계보(Data Lineage)·품질 체크를 워크플로우에 내재화
구조화·비구조화·실시간·합성 데이터를 재사용 가능한 '데이터 프로덕트(Data Product)'로 정비

② 컨텍스트 부여 (의미 부여)

시맨틱 레이어(Semantic Layer)를 구축하여, 인간과 AI가 동일한 업무적 의미로 추론할 수 있는 기반을 마련
'컨텍스트 그래프(Context Graph)'를 통해 에이전트 AI 판단의 근거를 추적 가능하게 함

③ 가치 실현과 지속적 개선

몇 달이 아니라 몇 주 단위로 '최소한의 데이터 프로덕트'를 사용하여 가치를 실증
성공한 유스케이스(Use Case)로부터 얻은 지견을 데이터 품질 개선에 피드백
AI를 데이터 관리 프로세스 자체(메타데이터 태깅, 품질 모니터링 등)에 활용하여 자동화

요약

AI 활용의 성패는 AI 모델의 선택보다 '그 AI에 무엇을 먹일 것인가'에 달려 있다. 여러 조사가 일치하여 보여주는 것은, 데이터 품질·거버넌스·컨텍스트의 정비야말로 AI를 실험 단계에서 가치 창출 단계로 끌어올릴 유일한 길이라는 점이다.

'일단 AI를 사용한다'는 페이즈는 끝나가고 있다. 다음 경쟁은 데이터 기반의 질로 결정된다.

참조 자료