
AI를 위한 조직 설계: 왜 당신의 CoE(Centre of Excellence)가 병목 현상이 되는가
요약
중앙 집중식 AI CoE(전문 센터) 모델이 조직 내에서 병목 현상을 일으키고, 오히려 통제되지 않는 AI 사용을 조장하는 구조적 문제를 분석합니다. 거버넌스를 검문소가 아닌 '도로'와 같은 인프라 형태로 제공해야 함을 강조합니다.
핵심 포인트
- 중앙 집중식 CoE는 승인 대기열을 만들어 조직의 AI 도입 속도를 저하시킴
- 느린 공식 채널은 직원들이 승인되지 않은 AI 도구를 사용하는 '그림자 AI' 현상을 초래함
- 거버넌스는 통제가 아닌, 안전하고 빠른 활용을 돕는 인프라(도로) 형태로 설계되어야 함
5부작 중 4부. "AI, 리더십, 그리고 업무의 인간적 구조"는 AI가 사람을 이끄는 방식에 실제로 어떤 변화를 가져오는지, 그리고 왜 그러한 변화가 필연이 아닌 선택인지에 관한 시리즈입니다.
제가 들은 한 대기업은 아주 좋은 의도로 AI CoE(Centre of Excellence, 전문 센터)를 구축했습니다. 표준을 설정하고, 모델을 검증하며, 모두를 안전하게 지키기 위한 하나의 중앙 팀을 만든 것입니다. 18개월 후, CoE에는 6주간의 승인 대기열이 생겼고, 3개의 사업 부문은 이를 우회하기 위해 승인되지 않은 도구들을 조용히 사용하기 시작했습니다. 그리고 CoE가 안심시키기 위해 존재했던 바로 그 보안 팀은, CoE가 만들어지기 전보다 회사의 실제 AI 사용 현황을 파악하기가 더 어려워졌습니다. 문지기는 위험한 행동을 막지 못했습니다. 오히려 그것을 지하로 숨어들게 만들었습니다.
지난 파트는 하나의 경고로 끝났습니다. 소유권과 책임은 한 번에 한 팀씩만 수정할 수 있는데, 왜냐하면 그것들은 조직 전체가 어떻게 구축되어 있는지에도 달려 있기 때문입니다. 그래서 이것은 구조적인 문제입니다. 회사가 AI에 대해 진지하게 임하기로 결정할 때, 거의 항상 똑같은 조치를 취하며, 그 조치가 보통 도입이 실패하는 지점이 됩니다.
그 조치는 바로 CoE(Centre of Excellence)입니다. AI 전문성을 하나의 중앙 팀으로 모으고, 그들에게 표준, 안전 및 모범 사례(Best Practice)에 대한 권한을 부여한 뒤, 조직의 나머지 부분이 그들에게 찾아오게 만드는 것입니다. 책임감 있게 들립니다. 이것은 대부분의 기업이 지난 30년 동안 모든 새로운 역량을 다루어 온 방식입니다. 그리고 AI의 경우, 이 방식은 확실하게 병목 현상(Bottleneck)으로 변질됩니다.
조력자가 어떻게 한계가 되는가
이 실패는 무능함 때문이 아닙니다. 그것은 구조적 함정입니다. 모든 모델을 검토하고, 모든 유스케이스(Use Case)를 승인하며, 모든 배포를 승인해야 하는 중앙 팀은 단순 산술적으로 나머지 회사가 움직일 수 있는 속도의 천장(Ceiling)이 됩니다. 10개의 팀이 구축하기를 원할 때, 한 개의 팀이 승인해야 하므로, 대기열이 형성됩니다.
그리고 사람들은 대기열에서 기다리지 않습니다. 그들은 대기열을 우회합니다. 이는 가설이 아닙니다. 1,000명의 직원과 500명의 보안 리더를 대상으로 한 2026년 조사에 따르면, 직원의 81%가 승인되지 않은 AI 도구를 사용하고 있으며, 근로자의 45%는 고용주가 차단한 애플리케이션에 접속하기 위해 적극적으로 우회 방법(workarounds)을 찾고 있는 것으로 나타났습니다. 여러분이 주목해야 할 숫자는 바로 두 번째 숫자입니다. 이는 대기열 건너뛰기가 명시적으로 드러난 것이기 때문입니다. 즉, 공식 채널은 절반이 비어 있고 비공식 채널은 가득 차 있습니다. 여러분의 세심한 중앙 통제는 바로 그것이 방지하기 위해 구축되었던 바로 그 현상, 즉 통제되지 않는 AI 사용을 초래합니다. 이제 그것은 보이지 않는 곳에서 일어나고 있습니다. 여러분이 통제된 경로를 느린 경로로 만들었기 때문입니다.
수문(Gate)은 물을 멈추게 하지 않습니다. 물이 어디로 흘러갈지를 결정할 뿐입니다.
반론에 대한 진지한 고찰
명백한 반론은 다음과 같습니다: 하지만 거버넌스(Governance)는 필요합니다. AI는 데이터, 컴플라이언스(Compliance, 규제 준수), 평판 측면에서 실질적인 리스크를 수반하며, "활성화(Enablement)"라는 말은 마치 무분별한 사용을 허용하겠다는 말을 정중하게 표현한 것처럼 들립니다. 이는 타당한 지적이며 직접적으로 답변할 가치가 있습니다. 왜냐하면 이 질문은 잘못된 선택지(false choice)를 숨기고 있기 때문입니다.
활성화는 거버넌스의 부재를 의미하지 않습니다. 그것은 검문소(checkpoint)가 아닌 도로로서 제공되는 거버넌스입니다. 검문소는 각 차량을 검사함으로써 거버넌스를 수행하지만, 잘 구축된 도로는 안전한 경로를 기본값(default)으로 만듦으로써 거버넌스를 수행합니다. 가드레일, 포장된 노면, 설계에 내장된 합리적인 제한 등을 통해 쉬운 일이 곧 안전한 일이 되도록 만드는 것입니다. 섀도우 AI(Shadow-AI) 수치는 게이팅(gating)이 그 자체의 명시된 목표 달성에 실패했다는 증거입니다. 모든 유스케이스(use case)를 검사하는 CoE는 결국 통제력을 더 얻는 것이 아니라 오히려 잃게 됩니다. 사용 사례를 어둠 속으로 몰아넣었기 때문입니다. 만약 여러분의 진정한 우선순위가 안전이라면, 대기열은 여러분이 선택할 수 있는 가장 안전하지 않은 설계입니다.
실제로 확장 가능한 패턴
이를 제대로 수행하고 있는 조직들은 중앙 팀의 역할을 뒤집고 있습니다. 승인하는 팀이 아니라, 가능하게 하는 (enabling) 팀으로 말입니다. 이미 고성능 엔지니어링 조직들이 구축되어 있는 방식에서 두 가지 아이디어를 이 상황에 깔끔하게 적용할 수 있습니다. 첫 번째는 지원 팀 (enabling team)입니다. 이 소규모 그룹의 성공은 얼마나 많은 승인을 처리하느냐가 아니라, 다른 팀의 역량을 얼마나 빠르게 끌어올린 후 떠날 수 있느냐로 측정됩니다. 이들의 역할은 다른 팀들이 AI를 잘 다룰 수 있게 만든 다음, 방해되지 않도록 물러나는 것입니다. 두 번째는 플랫폼 팀 (platform team)입니다. 이들은 AI를 안전하게 사용하는 방법이 곧 쉬운 방법이 되도록 '포장된 도로 (paved road)', 셀프 서비스 도구, 가드레일 (guardrails), 그리고 기본 설정 (defaults)을 구축합니다. 모든 결정을 일일이 검사함으로써 통제하는 것이 아닙니다. 기본 설정 자체가 이미 안전하도록 경로를 형성함으로써 통제하는 것입니다.

한 문장으로 요약하자면 다음과 같습니다: 각 여정을 통제하지 말고, 도로를 통제하십시오.
주의사항이 있긴 하지만, 빌려올 만한 가치가 있는 오래된 아이디어도 있습니다. Spotify 모델은 길드 (guilds)와 챕터 (chapters)라는 언어를 우리에게 주었습니다. 이는 기술을 전파하고 지식이 사일로 (silos)에 갇히는 것을 방지하기 위해 팀들을 가로질러 형성된 커뮤니티입니다. 이러한 횡단적 커뮤니티는 AI 실무를 위한 진정으로 좋은 안식처가 될 수 있습니다. 우리가 어떻게 프롬프팅 (prompting)을 하는지, 무엇이 작동하지 않는다고 발견했는지, 어떤 실패 모드 (failure modes)를 주의 깊게 살펴봐야 하는지 등을 공유하는 곳 말입니다. 주의할 점은 정직함입니다. Spotify 모델은 Spotify 내부에서도 지향점이었을 뿐이며, 잘못 복제되면 단순한 형식주의 (ceremony)가 됩니다. 다이어그램을 복제하지 말고, 실무를 팀 간에 수평적으로 전파한다는 아이디어만 취하십시오.
그리고 이곳에서는 구조가 그 어느 곳보다 중요한 이유가 있습니다. 조직이 자신의 통신 구조를 반영하는 시스템을 내놓는다는 오래된 관찰인 콘웨이의 법칙 (Conway's Law)은 AI 분야에서 그 어느 때보다 문자 그대로 적용됩니다. 게이트키핑 (gatekeeping) 조직을 만들면, 통제되고 취약한 도입 결과가 나타납니다. 지원하는 조직을 만들면, 흐름이 원활한 도입이 이루어집니다. 팀의 형태가 곧 역량의 형태가 됩니다.
이것이 리더에게 요구하는 것
통제가 곧 체크포인트(checkpoint)를 의미한다는 본능에 저항하십시오. 이토록 빠르게 움직이는 기술 환경에서 체크포인트는 목걸이(lanyard)를 걸고 있는 병목 현상(bottleneck)일 뿐입니다. 대신 역량 강화(enablement)를 위해 설계하십시오. 즉, 다른 곳에서 얼마나 많은 역량을 구축했는지를 기준으로 측정되는 중앙 팀, 안전한 경로를 가장 쉬운 경로로 만드는 플랫폼, 그리고 성공 사례를 전파하는 커뮤니티를 구축해야 합니다. 속도를 차단하는 것이 아니라 속도를 가능하게 하는 거버넌스(Governance)는 단순한 슬로건이 아닙니다. 그것은 당신의 가장 뛰어난 인재들이 줄을 서서 기다리게 할 것인지, 아니면 포장된 도로를 달리게 할 것인지에 대한 구조적 결정이며, 증거에 따르면 당신이 진정한 통제력을 가졌는지 아니면 단지 서류상의 통제만을 가졌는지에 대한 결정입니다.
하지만 구조에는 명확한 한계가 있으며, 이는 이 시리즈가 처음부터 계속 다루어 온 주제이기도 합니다. 세계에서 가장 우아한 역량 강화 조직을 구축하더라도, 역량을 강화할 대상이 남아 있지 않다면, 즉 유능한 인재를 배출하는 파이프라인(pipeline)이 조용히 꺼져 버렸다면 그 조직은 여전히 실패할 것입니다. 그것이 마지막 조각이며, 우리가 가장 잘못하고 있다고 생각하는 부분입니다.
시리즈: AI, 리더십, 그리고 업무의 인간적 구조
- AI의 심리적 비용은 기술적 결과가 아니라 리더십의 선택이다
- 이제 권위는 누구에게 있는가? Jagged Generalist(들쭉날쭉한 제너럴리스트) 시대의 리더십
- 에이전트(Agent) 팀 관리하기: 역할이 소프트웨어가 될 때의 리더십
- AI를 위한 조직 설계: 왜 당신의 CoE(Centre of Excellence)가 병목 현상이 되는가
- 주니어 인력을 감축하는 것은 선택이지, AI의 필연성이 아니다
귀하는 4부를 읽고 계십니다. 각 글이 게시됨에 따라 링크가 추가됩니다.
작성자: Richard Atkins.
출처: Team Topologies (Skelton & Pais) — https://teamtopologies.com/key-concepts · "AI Center of Excellence: Why Most Become Bottlenecks" — https://agility-at-scale.com/ai/people-change/ai-center-of-excellence/ · Shadow-AI 확산: UpGuard, "The State of Shadow AI" — https://www.upguard.com/resources/the-state-of-shadow-ai ; https://redteampartner.com/blog/shadow-ai-enterprise-risk/ · Spotify 모델 — https://www.atlassian.com/agile/agile-at-scale/spotify · Conway의 법칙 (Melvin Conway, 1968).
AI 자동 생성 콘텐츠
본 콘텐츠는 Dev.to AI tag의 원문을 AI가 자동으로 요약·번역·분석한 것입니다. 원 저작권은 원저작자에게 있으며, 정확한 내용은 반드시 원문을 확인해 주세요.
원문 바로가기