기억이 곧 해자다

@PaloAltoNtwks 의 Chairman & CEO인 @nikesharora가 @HarryStebbings (@20vcFund)와 인터뷰했습니다.

요약: Nikesh Arora는 Palo Alto Networks를 180억 달러 규모의 기업에서 2,250억 달러 가치의 기업으로 성장시켰으며, 기업용 AI (Enterprise AI)에 대한 그의 견해는 직설적입니다: 대부분의 기업이 잘못된 방식으로 접근하고 있으며, 대부분의 제품은 아직 준비되지 않았다는 것입니다. 그의 핵심 주장은 소비자는 AI의 실수를 용서하지만 기업은 그렇지 못하다는 것이며, 따라서 인간이 오류를 잡아내지 않아도 에이전트 (Agent)가 행동할 수 있게 해주는 깊이(문맥 (Context), 기억 (Memory), 그리고 엣지 케이스 (Edge-case) 학습)를 구축하는 곳으로 돈이 흐를 것이라는 점입니다. 승리하는 기업은 AI를 어제의 워크플로우 (Workflow)에 추가하는 대신 AI를 중심으로 스스로를 재설계할 것이며, 지속적인 우위는 시스템이 당신에 대해 구축하는 기억 (Memory)이 될 것입니다. 그는 토큰 (Token) 가격이 90% 하락하고, 3년 안에 일반 관리 (G&A) 역할의 절반이 사라지며, 엔지니어와 영업 사원의 수는 줄어드는 것이 아니라 더 늘어날 것이라고 예상합니다.

1. 문맥 유지력 (Context Stickiness). AI에서의 지속적인 우위는 모델 그 자체가 아니라 시스템이 당신에 대해 보유하고 있는 문맥 (Context)입니다. Arora는 프론티어 랩 (Frontier labs)들이 당신이 지난 30일, 60일, 90일 동안 무엇을 물었는지 기억하기 위해 경쟁하고 있으며, 이를 통해 각 새로운 답변이 더 쉬워지고 당신이 떠나고 싶지 않게 만들 것이라고 말합니다. 모델이 사용자에 대해 더 많이 알수록 전환 비용 (Switching cost)은 높아지며, 이러한 유지력 (Stickiness)이 바로 해자 (Moat)입니다. 기업에게도 동일한 논리가 적용됩니다: 가장 똑똑한 모델을 빌려 쓰는 기업이 아니라, 자신의 문맥 (Context)을 소유한 기업이 승리합니다.

2. 폭 대 깊이 (Breadth Versus Depth). 프론티어 모델 (Frontier model)의 문제는 폭 (Breadth) 대 깊이 (Depth)의 문제입니다. 소비자는 오탐 (False positives)을 용인하지만, 기업은 용인할 여유가 없습니다. Arora는 Gemini가 4분 만에 괜찮은 수준의 투자 메모를 작성하게 했으며, 중간에 사람이 오류를 잡아낼 수 있었기에 한두 줄의 잘못된 내용은 중요하지 않았습니다. 스스로 행동하는 에이전트 (Agent)는 중간에 사람이 없으므로, 오탐 (False positive)은 곧 실시간 실패가 됩니다. 소비자용 AI는 폭 (Breadth)과 브랜드로 승리하지만, 실제 기업용 매출은 깊이 (Depth)에서 나옵니다.

3. Waymo 표준. Waymo는 세계에서 가장 큰 에이전트형 제품 (agentic product)이며, 깊이 (depth)를 확보하는 데 실제로 어떤 비용이 드는지 보여줍니다. 운전자인 인간 한 명을 대체하기 위해, 인터넷 어디에도 존재하지 않는 엣지 케이스 (edge-case) 학습과 데이터에 수백억 달러가 투입되었습니다. 다음 Anthropic 모델을 당신의 Mercedes에 탑재하고 집까지 운전해 달라고 말할 수는 없습니다. 사람을 진정으로 대체하는 모든 기업용 에이전트 (enterprise agent)는 동일한 수준의 깊이가 필요하며, 이것이 대부분의 기업용 에이전트 제품이 아직 준비되지 않은 이유입니다.

4. 워크플로우 (Workflow) 재고. 대부분의 기업은 AI를 중심으로 워크플로우를 재설계하는 대신, 기존 워크플로우에 AI를 조금 추가하는 방식으로 대응하다가 실패하고 있습니다. Arora의 예시를 들어보자면, 송장을 20% 더 빠르게 스캔하는 것은 함정입니다. 진짜 승리는 AI가 사고 과정의 80%를 수행하게 하는 것입니다. 예를 들어 모든 이력서 (CV)를 읽고, 어떤 20명을 인터뷰해야 하는지, 그리고 각자에게 무엇을 물어봐야 하는지 알려주는 식입니다. 이는 인간의 통제권을 포기하는 것을 의미하며, 기업들이 정확히 저항하는 지점이기도 합니다. 향후 3년 동안의 승자는 업무 (task)가 아닌, AI를 통해 회사를 재고하는 기업이 될 것입니다.

5. 의견을 가진 소프트웨어. 차세대 기업용 소프트웨어는 의견 (opinions)을 갖게 될 것이며, 이것이 바로 Arora가 지적하는 진정한 변화입니다. 코드로 작성된 SaaS는 당신이 입력한 값에 대해 당신이 정의한 출력값을 제공합니다. 반면 AI 마케팅 어시스턴트는 당신의 카피를 읽고, 브랜드 방향성과 맞지 않는다고 말하며, 어떻게 수정해야 하는지 알려줍니다. 이러한 의견은 평균적인 직원을 더 똑똑하게 만듭니다. 이것이 Arora가 마케팅, 재무, 인사 (HR)와 같은 일반 관리 (G&A) 직무 인력의 절반이 3년 이내에 사라질 것이라고 예상하는 이유입니다.

6. 인원 감축이 아닌, 더 많은 엔지니어. AI가 인력을 줄일 것이라는 공포는 절반은 틀렸습니다. 프로세스 중심적인 G&A 역할은 압축되겠지만, Arora는 더 많은 기술 인력과 영업 인력을 원합니다. 그의 팀은 마케팅과 인사 업무를 재편하기 위한 리소스, 그리고 프론티어 모델 (frontier models)을 프롬프트하고, 하네스 (harnesses)를 구축하며, 아무도 가지지 못한 데이터를 가져올 수 있는 사람들을 지속적으로 요청하고 있습니다. 좋은 제품에는 더 많은 판매자도 필요합니다. 그는 지난주 유럽에서 20명의 고객을 만났는데, 그중 절반은 그의 20년 된 회사가 이미 무엇을 출시했는지조차 모르고 있었습니다.

7. 10분의 1 수준의 토큰 가격. 장기적인 토큰 가격은 현재의 10분의 1 수준이 되어야 합니다. 컴퓨팅 비용 (Compute costs)은 2년 전보다 24배 증가했는데, 이는 비용의 절반 이상이 손실을 보고 있는 소비자용 AI (consumer AI)를 지원하는 데 사용되기 때문이며, 이로 인해 비용을 지불해야 하는 기업용 및 코딩 워크로드 (workloads)에 가격 압박이 가해지고 있습니다. 컴퓨팅 효율성이 높아지고 소비자 사용량이 제한됨에 따라, 향후 35년 동안 가격은 급격히 하락할 것입니다. 2년 전의 모델은 이미 90%의 작업에 충분히 훌륭했습니다. 문제는 실행 비용이 너무 많이 들었다는 점입니다.

8. 토큰 할당의 함정. 토큰 지출을 제한하는 것은 귀하의 가장 유능한 인재들을 벌주는 격입니다. Arora는 무분별한 사용이 아닌 "신중한 사용" 모델을 운영하는데, 이는 AI에 능숙한 가장 똑똑한 직원이 평균적인 직원보다 20배 더 많은 토큰을 소모할 수 있기 때문입니다. 비용을 줄이기 위해 일시적인 조치(whack-a-mole)를 취하는 것은 고성과자들에게 가장 큰 피해를 주고 필요한 학습 속도를 늦춥니다. 더 나은 방법은 사용량을 추적하되, 파워 유저 (power users)들은 내버려 두고 진정한 이상치 (outliers)만을 제한하는 것입니다.

9. 공격자의 새로운 우위. 강력한 코딩 모델은 양날의 검입니다. 좋은 코드를 작성하도록 훈련된 모델은 나쁜 코드를 찾아내는 데에도 똑같이 능숙합니다. 자신의 시스템을 대상으로 테스트했을 때, 한 모델은 그의 팀이 5~6년이 걸렸을 일을 단 6주 만에 찾아냈습니다. 이 모델은 안전하게 자동 패치 (auto-patch)를 할 수는 없는데, 왜냐하면 고장 나지 않은 것의 30%를 "수정"해 버릴 것이기 때문입니다. 따라서 이 모델은 방어자보다 공격자에게 더 빨리 무기를 쥐여줍니다. 그 결과는 긴박함입니다. 모든 기업은 시스템을 더 빠르게 수정해야 하며, 이는 보안 회사들에게는 좋은 일입니다.

10. FTE(전업 직원)가 알려주는 신호. 만약 스타트업이 기업에 판매하기 위해 현장 배치 엔지니어 (forward-deployed engineers)를 필요로 한다면, 그 제품은 아직 완성되지 않은 것입니다. Arora의 분석에 따르면, 기업용 AI는 겨우 12개월 정도 되었고, 에이전트 (agents)들이 제품의 정체성 자체를 계속 바꾸고 있습니다. 그래서 벤더들은 기술이 계속 변하는 동안 고객사 내부에서 제품을 구축하기 위해 엔지니어들을 파견합니다. 진정한 현장 배치 엔지니어는 코드를 다시 가져와 제품에 통합하지만, 많은 이들은 그저 도입 컨설턴트 (adoption consultants)에 불과합니다. 코딩 도구가 Windsurf와 Devin에서 Codex, Claude, Factory로 넘어갔던 것처럼, 고객들이 하나의 도구에서 다음 도구로 계속 이탈할 것을 예상하십시오.

11. 세 번의 놓친 기술 (Three Missed Tricks). 기술 하나를 놓치면 살아남을 수 있지만, 두 개를 놓치면 부분적으로 타격을 입고, 세 개를 놓치면 도태될 수 있습니다. 이것이 Arora가 그 어느 때보다 학습에 많은 시간을 할애하며, 아직 이해하지 못한 것을 만들고 있는 창업자들에게 연락을 취하는 이유입니다. 그는 확신이 있다면 초기에 저렴하게 매수합니다. 검증된 승자를 10억 달러에 사기 위해 기다리기보다, 1~2배 더 비싸게 지불하더라도 인수(acquisition)를 10배 또는 100배의 베팅으로 취급합니다. 그는 상위 15명의 리더들이 자신들이 무엇을 출시(ship)했는지 경쟁하여 보여줄 수 있도록 주 2회 "AI EIO" 회의를 운영합니다.

12. 매몰 비용의 산책 (The Sunk Cost Walk). 한 이사회 멤버는 Arora에게 노력(effort)과 결과(outcome)를 분리하는 법을 가르쳐 주었습니다. 거의 10억 달러에 달하는 인수 건을 처리하며 몇 달간 고군분투한 후, 그는 긴 산책을 하며 한 가지 질문을 던지라는 조언을 들었습니다: "만약 이 거래가 아무런 노력 없이 지금 당장 문 앞까지 찾아온다면, 나는 여전히 수표를 써서 결제할 것인가?" 당신은 아직 단 1달러도 쓰지 않았으므로, 오직 그 거래가 자체적인 가치(merits)로 성립하는지만이 중요합니다. 8개의 VC(벤처 캐피털)보다 먼저 텀 시트(term sheet)를 확보하는 것을 거래가 좋다는 것과 혼동하는 투자자들도 똑같은 함정에 빠지곤 합니다.