By Paul Okhrem · paul-okhrem.com

어떤 AI 컨설팅 파트너와 협력할지 고민 중인 CEO라면, 여러분은 유용한 신호 대 잡음비 (Signal-to-noise ratio)가 거의 없는 시장을 헤쳐 나가고 있는 것입니다.

모든 기업이 "깊은 AI 전문성"을 가지고 있다고 주장합니다. 모두가 사례 연구 (Case studies)를 보유하고 있습니다. 파워포인트 (PowerPoint) 자료들은 모두 비슷비슷합니다. 가격은 품질과 명확한 상관관계 없이 10배까지 차이가 납니다. 또한, 이 분야에는 완전히 다른 영역에서 수년간 활동하다가 작년에 브랜드를 바꾼 컨설턴트와 같은 기회주의자들이 충분히 유입되었기 때문에, 실사 (Due diligence)를 수행하는 것이 진정으로 어렵습니다.

제가 이 리소스를 만든 이유는 값비싼 실수를 저지르기 직전이거나, 이미 실수를 만회하려고 노력 중인 CEO들과 계속해서 같은 대화를 나누게 되었기 때문입니다.

실제로 여러분이 선택하게 될 세 가지 카테고리

시장은 크게 세 가지 유형으로 나뉘며, 각각 다른 니즈를 충족합니다.

**전략 전용 컨설턴트 (Strategy-only consultants)**는 AI에 대해 생각하는 것을 도와줍니다. 즉, 비즈니스의 어디에 AI를 적용할지, 로드맵 (Roadmap)은 어떤 모습이어야 하는지, 내부 역량을 어떻게 구축할지 등을 다룹니다. 이들은 일반적으로 아무것도 직접 구축하지 않습니다. 구축하기 전에 고민이 필요하다면 이들은 가치가 있습니다. 하지만 이미 어디로 가야 할지 알고 있고 실행 (Implementation)이 필요하다면, 이들은 여러분의 시간을 낭비하게 만들 것입니다.

**실행 전문 업체 (Implementation shops)**는 결과물을 직접 만듭니다. 이들은 부티크 기술 기업부터 계약직 인력을 배치하는 인력 파견형 업체까지 다양합니다. 품질은 매우 천차만별입니다. 핵심 질문은 그들이 귀하의 산업 분야에 대한 도메인 경험 (Domain experience)을 가지고 있는지, 아니면 AI 일반론자인지, 그리고 계약을 따내는 사람이 실제로 작업을 수행할 사람인지 여부입니다.

**임베디드 어드바이저 / 분할 운영자 (Embedded advisors / fractional operators)**는 전략과 실행 사이의 어딘가에 위치합니다. 이들은 조언을 제공할 뿐만 아니라, 직접 실무에 뛰어들어 리더십 회의에 참여하며, 외부 벤더 (Vendor)와 함께 내부 역량을 구축하는 것을 돕습니다. 이 모델은 풀타임 CAIO (Chief AI Officer)를 채용할 준비는 되지 않았지만, 실질적인 책임감을 가진 전문가가 필요한 중견 기업 (Mid-market companies)에 가장 잘 맞습니다.

실제로 차별화를 만들어내는 질문들

대부분의 CEO는 벤더 (Vendor) 평가 시 잘못된 질문을 던집니다. "귀사의 AI 역량에 대해 말씀해 주세요"라는 질문은 슬라이드 한 장을 만들어낼 뿐입니다. 반면, 다음 질문들은 실질적인 정보를 만들어냅니다.

"AI 구현이 초기 목표를 달성하지 못했던 프로젝트 사례를 설명해 주세요. 어떤 일이 발생했으며, 어떻게 대처하셨나요?"

정직한 실무자라면 누구나 이런 이야기를 가지고 있습니다. 성공 사례만 늘어놓는 업체는 충분한 경험이 없거나, 당신에게 솔직하지 않은 것입니다. 당신이 들어야 할 핵심은 지적 정직성 (Intellectual honesty), 무엇이 잘못되었는지에 대한 명확한 진단, 그리고 그들이 어떻게 적응했는지에 대한 증거입니다.

"이 프로젝트에 구체적으로 누가 참여하게 되나요? 계약 체결 전에 그들을 직접 만날 수 있을까요?"

컨설팅 업계에는 '미끼와 바꿔치기 (Bait-and-switch)'가 실제로 존재합니다. 시니어 파트너 (Senior partners)가 영업을 하고, 주니어 직원 (Junior staff)이 실제 업무를 수행하는 식입니다. 실제 팀을 만나겠다고 요청하십시오. 만약 답변이 모호하다면, 그것을 위험 신호 (Red flag)로 간주해야 합니다.

"90일 후의 성공적인 모습은 어떤 것이며, 이를 어떻게 측정할 것입니까?"

만약 그들이 당신의 구체적인 상황에 맞춰 이 질문에 정밀하게 답하지 못한다면, 그들은 아직 당신의 비즈니스를 충분히 이해하지 못한 것입니다. 대화 초기 단계라면 괜찮을 수 있지만, 계약 체결 전에는 반드시 해결되어야 할 문제입니다. 모호한 성공 기준은 당신이 아닌 컨설턴트를 보호할 뿐입니다.

"이 프로젝트가 끝날 때쯤, 현재는 없지만 우리가 구축했어야 할 내부 역량은 무엇입니까?"

외부 컨설팅의 목표는 시간이 지남에 따라 컨설팅의 필요성을 더 높이는 것이 아니라, 점차 줄여나가는 것이어야 합니다. 만약 답변이 지식 전수 (Knowledge transfer)가 아닌 산출물 (Deliverables)에만 집중되어 있다면, 당신은 역량을 쌓는 것이 아니라 의존성을 키우고 있는 것입니다.

"우리 단계의 기업들에게 과장된(Overhyped) AI 프로젝트는 무엇이라고 생각하십니까?"

이 답변은 그들의 지적 정직성과, 당신이 듣고 싶지 않을 수도 있는 사실을 말해줄 의지가 있는지를 드러냅니다. 당신이 하는 모든 말에 동의하기만 하는 컨설턴트는 도움이 되지 않습니다.

선정 과정에서의 위험 신호 (Red flags)

문제가 아닌 기술을 앞세우는 경우. "우리는 LLM (Large Language Models)과 에이전틱 AI (Agentic AI), 그리고 RAG (Retrieval-Augmented Generation)를 사용할 것입니다"라는 말은 전략이 아닙니다. 기술은 문제로부터 도출되어야 하며, 그 반대가 되어서는 안 됩니다.

사례 연구(Case studies)가 관련성에 대한 설명 없이 서로 다른 산업군에서 가져온 것들입니다. 전이 가능한 교훈(Transferable lessons)은 실재하지만, 이를 명시적으로 연결하는 과정이 필요합니다. "우리는 은행을 위해 이 작업을 수행했으며, 이것이 귀사의 제조 환경에 적용되는 이유는 다음과 같습니다"라고 말하는 것은 신뢰할 수 있습니다. 하지만 단순히 로고만 나열된 슬라이드는 그렇지 않습니다.

가격 책정이 결과에 대한 책임 없이 순수하게 투입 시간 및 비용(Time-and-materials, T&M) 방식으로만 구성되어 있습니다. 순수 T&M 컨설팅은 결과에 대한 이해관계(Skin in the game)가 없습니다. 결과 기반(Outcome-based) 구성 요소는 — 설령 부분적일지라도 — 인센티브를 더 잘 일치시킵니다.

그들은 권장하는 접근 방식의 한계를 설명하지 못합니다. 모든 AI 접근 방식에는 실패 모드(Failure modes)와 제약 사항이 있습니다. 이러한 한계를 명확하게 설명하지 못하는 컨설턴트는 기술을 이해하지 못하고 있거나, 과장 광고를 하고 있는 것입니다.

제안서가 너무 빨리 도착했습니다. 사려 깊은 제안서는 시간이 걸립니다. 24시간 이내에 전달된 일반적인 제안서는 그들이 대화 내용을 경청한 것이 아니라, 단순히 템플릿을 불러왔음을 의미합니다.

레퍼런스(References)에서 실제로 확인해야 할 사항

공급업체가 제공하는 레퍼런스는 선별된 것입니다. 이를 유용하게 만드십시오:

레퍼런스에게 물으십시오: "이 업체와 협력할 때 이 CEO가 주의해야 할 점은 무엇이라고 말씀하시겠습니까?" 만족한 고객이라도 마찰 지점(Friction points)을 언급할 수 있습니다. 마찰이 전혀 없다는 것은 레퍼런스에게 미리 답변을 교육받았다는 신호입니다.

물으십시오: "프로젝트 진행 중에 듣고 싶지 않은 이야기를 들은 적이 있습니까? 그때 상황은 어떠했습니까?" 귀하는 반대 의견을 제시할 줄 아는 컨설턴트를 원해야 합니다. 레퍼런스를 통해 그것이 실제인지 확인할 수 있습니다.

물으십시오: "그들이 무엇을 잘못했나요, 그리고 그것을 어떻게 처리했나요?" 공급업체에게 직접 묻는 것과 같은 원리입니다. 귀하는 완벽함이 아니라 정직함과 회복 탄력성(Recovery)을 듣고자 하는 것입니다.

의사결정을 위한 프레임워크

평가가 완료된 후, 저는 다음과 같은 간단한 프레임워크를 제안합니다:

• 신뢰성 (Trust): 그들이 자신들에게 이득이 되지 않는 내용까지 포함하여 진실을 말하고 있다고 믿습니까?
• 관련성 (Relevance): 그들이 귀하의 실제 맥락(산업, 기업 단계, 문제 유형 등)에 대한 경험을 보유하고 있습니까?
• 역량 (Capability): 그들이 단순히 조언만 하는 것이 아니라, 권장하는 사항을 실제로 구축하거나 구현할 수 있습니까?
• 정렬 (Alignment): 그들의 인센티브가 귀하의 성과와 맞물려 있습니까, 아니면 청구 가능한 시간 (Billable hours)에 맞춰져 있습니까?

대부분의 매력적인 컨설턴트들은 이 중 두세 가지 항목에서 높은 점수를 받습니다. 네 가지 항목 모두에서 높은 점수를 받는 기업은 드물며, 그만한 비용을 지불할 가치가 있습니다.

Paul Okhrem은 CEO들에게 AI 전략 및 컨설팅 파트너 선정에 대해 조언합니다. 자세한 내용은 paul-okhrem.com에서 확인하세요.