AI 위험 격차는 릴리스(Release)의 격차이다

원래 Dromeas blog에 게시되었습니다.

Gartner의 최신 분기 보고서에는 제가 계속 주목하는 구절이 있습니다. AI로부터 얻는 가치를 보호하려면, 도구 자체에 지출하는 비용보다 최소 두 배 이상을 위험 제거(derisking)에 할당할 계획을 세우라는 것입니다.

이는 CEO와 CFO를 대상으로 합니다. 하지만 만약 엔지니어링이나 보안 부서를 운영한다면, 이 조언이 누구보다 빨리 자신에게 와닿는다고 생각합니다. 왜냐하면 AI의 결과물이 실질적인 무언가로 변하는 곳이 바로 그곳이기 때문입니다. 에이전트(Agent)가 작성한 코드가 릴리스 시점에 프로덕션에 도달합니다. 따라서 제가 가장 먼저 살펴볼 곳은 바로 그 지점이라고 생각합니다.

다만 주의할 점이 있습니다. Gartner의 수치는 AI 전반에 대한 것이지, 코드 자체에 대한 것은 아닙니다. 아래에서 다루는 릴리스와 관련된 내용은 제 해석이며, Gartner의 분석이 아님을 밝힙니다.

Gartner 수치로 본 격차

Gartner는 이 AI 가치 격차를 'AI 위험 격차'라고 부르며, 이를 세 가지 기둥(pillars)으로 나눕니다: 비용(cost), 사이버 보안(cybersecurity), 그리고 신뢰성(trustworthiness). 이 중 하나라도 놓치면 추구하던 가치를 잃게 됩니다.

CEO 설문조사(203명, 2026년 4월~5월)에서 나온 두 가지 데이터 포인트가 눈에 띕니다:

• CEO의 75%는 기술, 데이터 및 IT 지출을 늘리고 있습니다. 하지만 보안 및 위험 관련 지출을 늘리는 곳은 단 28%에 불과합니다.
• 사이버 확산(cyber escalation)에 대해 높은 준비가 되어 있다고 답한 비율은 37%에 불과합니다. Gartner가 말하는 AI 산업화(AI industrialization)의 경우, 그 비율은 20%입니다.

그리고 CxO 중 단 23%만이 조직의 생성형 AI(generative AI) 결과물에 대해 자신감을 보인다고 답했습니다.

(Gartner는 이것이 전체 시장이 아닌 설문조사 대상자들에 대한 조사임을 분명히 밝힙니다. 이를 인구 조사가 아닌 신호로 받아들이십시오.)

릴리스가 시작하기 가장 저렴한 지점인 이유

'AI 위험 제거(derisking)'라는 단어는 거대하게 들립니다. 거버넌스 프레임워크, 샌드박스, 공급업체 계약 등입니다. 이 중 일부는 회사 전체 차원의 과제입니다.

하지만 소프트웨어의 경우, 모든 변경 사항이 반드시 통과해야 하는 한 지점이 있습니다: 바로 릴리스(release)입니다. 이곳은 여전히 '아니다'라고 말할 수 있는 마지막 순간이며, '예'라는 결정에 증거를 첨부할 수 있는 곳입니다. Gartner가 제시한 세 가지 기둥을 하나씩 살펴보겠습니다.

신뢰성: 이 릴리스가 안전하다고 말할 근거가 있습니까?

만약 리더들의 단 23%만이 자신들이 생성한 AI 결과물을 신뢰한다면, '에이전트가 괜찮다고 했다'는 말로는 부족합니다. 신뢰할 수 있는 릴리스(release)에는 판결과 그 근거가 있어야 합니다. 무엇을 확인했는지, 무엇을 발견했는지, 얼마나 확신하는지, 그리고 누가 또는 무엇이 이견을 제시했는지에 대한 기록입니다.

사이버 보안: 누군가의 기억에 의존하지 않는 가드레일(guardrails)

Gartner는 CISO들에게 모든 것을 검토자가 놓치기를 바라는 대신, 자동화된 가드레일과 격리(containment)를 구축하라고 조언합니다. 에이전트가 작성한 코드의 경우, 실제로 변경된 부분에 한정하여 모든 변경 및 모든 릴리스에서 실행되는 체크 기능이 필요하며, 이 체크는 충분히 빨라서 아무도 우회할 수 없어야 합니다.

28%라는 수치가 여기서 중요합니다. 대부분의 보안 예산은 에이전트가 생성하는 코드의 양을 감당하도록 책정되지 않았습니다. 변경분(diff)에 맞춰 확장되는 게이트는 각 에이전트마다 검토자를 고용하지 않고도 따라잡을 수 있는 한 가지 방법입니다.

비용: 라이선스 비용 아래의 빙산

Gartner는 에너지, 데이터 엔지니어링, 관측 가능성(observability), 워크플로우 재설계, 규정 준수 감사 등 AI 비용의 '숨겨진 빙산'에 대해 이야기합니다. 그들은 고위 기능 리더 중 단 45%만이 계획했던 2025년 AI 예산을 유지한다고 언급했습니다.

엔지니어링 관점에서의 비용은 재작업(rework)입니다. 출시된 후에 발견되는 버그나 보안 취약점은 이전에 발견되는 것보다 훨씬 더 많은 비용이 발생합니다. 제가 정확한 수치를 제시할 수는 없습니다. 왜냐하면 2026년의 명확한 출처가 없기 때문입니다. 하지만 방향성은 의심의 여지가 없습니다.

'규모를 확장하기 전에 인증하라(Certify before you scale)'는 엔지니어링 체크리스트로서

제가 마음에 들었던 권장 사항이 있습니다. 어떤 AI 파일럿 프로젝트도 CFO, CIO, 법무팀장이 공동으로 비용 구조, 가치 잠재력, 데이터 출처(data provenance), 위험 통제에 대해 인증하기 전까지는 규모 확장 자금을 받을 수 없어야 한다는 것입니다.

제가 에이전트와 함께 배포하는 팀을 위해 이것을 어떻게 번역할지 보여드리겠습니다:

에이전트가 코드를 건드리는 모든 곳을 파악해야 합니다. 심지어 사용자가 직접 설치한 것까지도요.
배포(release)할 때마다 느낌(vibe)이 아닌 검증된 판단(verdict)에 따라 통제해야 합니다. 무엇을 확인했는지, 무엇을 발견했는지, 누가 승인했는지를 기록해야 합니다.
증거를 보존하세요. 감사관, 고객 또는 사내 CFO가 "왜 이것이 배포되었나요?"라고 물었을 때 몇 분 안에 답변할 수 있어야 합니다.
내부 내용을 파악해야 합니다. DataGrail의 2026년 프라이버시 보고서에 따르면, AI 기능을 광고하는 소프트웨어 공급업체의 63.6%가 AI 서브프로세서를 공개하지 않고 있습니다. 귀사 자체 소프트웨어는 AI를 위한 자재 명세서(bill of materials)를 갖추어야 하며, 특히 EU AI Act의 적용을 받는 경우 더욱 중요합니다.
예산을 책정해야 합니다. AI 툴링 라인은 성장하는데 검증(checking) 라인이 따라가지 못한다면, 그것이 Gartner가 설명하는 격차입니다.

우리가 기여하는 부분 (Where we fit)

Dromeas에서 구축하는 것은 다음과 같습니다: 검증된 판단(verdict)을 갖춘 코드 리뷰 및 배포 체크, 그 근거가 되는 증거, 그리고 부산물로 생성되는 감사 문서입니다. 컴플라이언스 측면에 대한 더 많은 정보는 여기를 참고하세요.

— Manos

출처: Gartner Business Quarterly 4Q26: "The AI Value Gap Is Really an AI Risk Gap" (Sallam, Mesaglio) 및 "CEO Watch 4Q26" (Furlonger), 2027년 Gartner CEO 설문조사(응답자 203명, 2026년 4월~5월)와 2026년 Gartner C-Suite AI Survey 기반. · DataGrail, Privacy and AI Trends Report 2026