자체 지능 확보: 지속 가능한 AI 우위의 핵심

주요 요점

• 범용적인 AI만으로는 지속적인 우위를 창출할 수 없습니다.
• 기업은 자체 모델, 에이전트 시스템, 컨텍스트(context), 메모리(memory)에 대한 통제권을 확보해야 합니다.
• 지능을 소유한다는 것은 또한 그 비용, 품질, 위험성, 행동까지 관리하는 것을 의미합니다.
• 우위는 사용을 통해 시스템을 개선하는 피드백 루프에서 나옵니다.
• 범용 인프라는 구매하되, 복리 효과를 내는 지능은 자체적으로 소유해야 합니다.

향후 5년 동안 모든 기업은 AI를 두 가지 방식 중 하나로 사용할 것입니다. 즉, 핵심 비즈니스 운영에 사용하거나 고객에게 판매하는 제품의 일부로 사용하는 것입니다. 어느 경우든, 범용적인 지능만으로는 충분하지 않을 것입니다.

실질적인 영향력을 발휘하려면, 기업이 자체 지능을 소유해야 합니다. '소유'한다는 것이 모든 계층(layer)을 처음부터 구축한다는 의미는 아닙니다. 이는 지능이 어떻게 작동하는지, 어떻게 관리되는지, 그리고 시간이 지남에 따라 복리 효과를 내는지 결정하는 부분들을 통제한다는 것을 의미합니다.

기성품 지능은 귀사의 비즈니스를 알지 못합니다

기성품(Off-the-shelf) AI는 일반적이기 때문에 유용합니다. 흔한 질문에 답하고 광범위한 주제에 걸쳐 추론할 수 있습니다. 이는 시작하는 데 도움이 됩니다. 하지만 범용적인 지능이 회사 내부의 운영을 수행할 수 있다고 가정하는 것은 심각하게 단순화된 생각입니다.

기업들은 운영 방식에 있어 매우 많은 특수성을 가지고 있습니다. AI를 회사 깊숙이 통합할수록, 이러한 특수성들이 더욱 중요해집니다. 만약 AI를 회사의 핵심 운영 부분으로 사용하기를 바란다면, 이 특수성들이 매우 중요하게 작용합니다.

구체적인 예로, 보험금 청구를 처리하는 데 AI를 사용하는 대형 보험사를 생각해 봅시다. 범용 모델은 정책 문서를 읽고, 청구를 요약하며, 일반적인 보장 개념을 설명할 수 있습니다. 하지만 실제로 청구를 처리하는 작업은 해당 보험사의 자체 정책 언어, 주(州)별 규제 요구 사항, 사기 신호, 역사적 청구 패턴, 에스컬레이션 규칙, 고객 등급화, 그리고 위험 허용 범위에 달려 있습니다. 이러한 세부 정보는 범용 모델의 가중치(weights)에는 포함되어 있지 않습니다. 범용 모델은 '자기 부담금(deductible)'이라는 단어의 의미를 알지만, 특정 고객을 위해, 이 관할권에서, 이 정책 하에, 그리고 이 증거와 함께 특정한 유형의 청구를 어떻게 처리해야 하는지는 모릅니다.

AI 자체가 제품인 경우에도 같은 논리가 적용됩니다. 만약 AI 지원 에이전트, 법률 비서, 또는 코딩 에이전트를 구축하는 수직 산업(vertical) AI 스타트업이라면 – 기반 모델은 귀사의 제품이 아닙니다. 다른 모든 사람들도 동일한 API를 호출할 수 있습니다. 귀사의 제품은 모델 주변의 시스템입니다: 모델이 처리하는 워크플로우, 검색하는 컨텍스트, 사용할 수 있는 도구, 품질을 정의하는 평가(evals), 구축하는 메모리, 그리고 고객 상호 작용마다 개선시키는 피드백 루프입니다.

두 경우 모두, 우위는 범용적인 지능이 아닙니다. 그것은 특정 비즈니스에 맞춰진 지능입니다.

어떤 회사든 AI를 사용할 수 있습니다. 그러나 이 범용적인 지능만으로는 의미 있는 투자 수익률(ROI)을 창출하거나 차별화된 제품을 구축하기에 충분하지 않을 것입니다. AI를 중심으로 구축된 기업들은 자신들의 지능을 소유하게 될 것입니다.

자체 지능을 소유한다는 것의 의미

자체 지능을 소유한다는 것은 AI 스택의 모든 계층(layer)을 직접 구축한다는 것을 의미하지 않습니다. 그것은 핵심적인 부분, 즉 지능이 어떻게 작동하는지, 무엇으로부터 학습하는지, 비용이 얼마나 드는지, 그리고 시간이 지남에 따라 개선되는지를 결정하는 부분을 통제한다는 것을 의미합니다.

여기서 유용한 비유가 있습니다. 바로 공급망(supply chain)입니다. 소매업체는 사용하는 모든 트럭, 선박 또는 창고 로봇을 직접 제조할 필요가 없습니다. 하지만 무엇이 조달될지, 재고가 어떻게 이동할지, 수요가 어떻게 예측될지, 그리고 고객 경험이 어떻게 제공될지를 결정하는 시스템은 반드시 소유해야 합니다.

AI도 이와 같은 방식으로 작동합니다. 모델, 컴퓨팅 자원(compute), 인프라를 구매할 수 있습니다. 하지만 이러한 입력값들을 귀사의 비즈니스에 특화된 지능으로 전환하는 시스템을 소유해야 합니다.

여기에는 세 가지 부분이 있습니다. 에이전트 시스템(agent system) 제어; 경제성, 품질 및 위험 관리 주도권 확보; 그리고 시간이 지남에 따라 지능을 복리 효과를 내며 증폭시키는 것입니다.

에이전트 시스템 제어하기

에이전트는 원시적인 지능과 실제 작업 사이의 다리 역할을 합니다. 모델은 지능을 제공합니다. 하네스(harness)는 그 지능이 어떻게 적용될지 결정합니다. 컨텍스트(context)는 특정 상황에서 무엇이 중요한지를 시스템에게 알려줍니다.

첫 번째 계층은 모델입니다. 모델을 소유한다는 것은 주권(sovereignty), 이식성(portability) 또는 배포 제어(deployment control)가 중요할 때 오픈 가중치 모델(open-weight models)을 사용하는 것을 의미할 수 있습니다. 또한 이는 모델 선택권을 보존하는 것일 수도 있습니다. 즉, 품질, 비용, 지연 시간(latency), 개인 정보 보호 요구 사항이 변경됨에 따라 제공업체 간 전환할 수 있는 능력을 말합니다. 선택권은 락인(lock-in)을 방지하기 때문에 방어적입니다. 하지만 가장 좋은 모델이 나타나는 대로 채택할 수 있게 해주기 때문에 공격적이기도 합니다.

두 번째 계층은 하네스입니다. 이는 모델 출력을 행동으로 전환하는 오케스트레이션 로직(orchestration logic)입니다. 하네스는 컨텍스트가 사용되는 모든 것, 즉 라우팅(routing), 도구 사용(tool use), 워크플로우 단계(workflow steps), 스킬(skills) 등을 제어합니다. 회사 고유의 행동 방식이 대부분 여기에 존재합니다. 만약 하네스가 폐쇄적이라면, 귀사의 에이전트가 어떻게 작동해야 하는지에 대한 타인의 가정을 받아들이는 것입니다.

세 번째 계층은 컨텍스트 자체입니다. 컨텍스트는 일반적인 지능을 특정한 것으로 만드는 요소들입니다. 문서, 정책, 도구, 스킬, 사용자 선호도, 조직 수준의 지식, 그리고 메모리(memory)가 여기에 해당합니다. 특히 메모리는 시스템이 시간이 지남에 따라 더 유용해지는 방식이기 때문에 매우 중요합니다.

만약 컨텍스트(context)와 메모리(memory)를 소유하지 못한다면, 당신의 시스템이 축적하는 지능 또한 소유할 수 없습니다.

에이전트 시스템을 소유하려면 세 가지 모두에 대한 통제권이 필요합니다: 모델(model), 하네스(harness), 그리고 컨텍스트(context)입니다.

경제성, 품질 및 위험 관리

AI가 실제 작업을 수행하게 되면, 기업들은 이를 다른 운영체제(operating system)처럼 관리해야 합니다. 이는 작업의 비용을 통제하고, 그 품질을 측정하며, 시스템이 작용할 수 있는 범위를 정의하고, 실제로 작동했을 때 무슨 일이 일어났는지 아는 것을 의미합니다.

비용은 중요합니다. 지능은 그것이 창출하는 수익에 비해 저렴할 때만 가치가 있기 때문입니다. AI 채택률이 급격히 증가함에 따라 비용도 늘어났습니다. 우버(Uber)의 경고 사례를 예로 들어보세요.

사용자, 조직 또는 에이전트 수준에서 비용을 확정적으로 통제할 수 있는 능력은 AI를 안정적으로 확장하는 데 매우 중요합니다.

품질은 가정해서는 안 되며 측정되어야 합니다. 모델을 업그레이드하거나, 프롬프트(prompt)를 변경하거나, 도구(tool)를 추가하거나, 워크플로우(workflow)를 조정할 때, 시스템이 더 나아졌는지 아니면 퇴보했는지 알아야 합니다. 이를 측정할 수 없다면, 에이전트를 체계적으로 개선할 수 없다는 의미이며, 이는 진정으로 통제하고 소유할 수 없음을 뜻합니다.

경계(Boundaries)는 AI가 독립적으로 작용할 수 있는 곳과 감독이 필요한 곳을 정의합니다. 기업들은 에이전트가 어떤 데이터에 접근할 수 있는지, 어떤 도구를 사용할 수 있는지, 어떤 행동에 승인이 필요한지, 그리고 언제 에스컬레이션(escalate)해야 하는지를 통제해야 합니다. 지능을 소유한다는 것은 그것이 무엇을 할 수 있는지 통제하는 것을 의미합니다.

관측 가능성(Observability)은 시스템에 책임을 부여합니다. 만약 에이전트가 어떤 행동을 취한다면, 비즈니스는 그것이 무엇을 보았는지, 무엇을 했는지, 어떤 도구를 호출했는지, 그리고 왜 그랬는지를 알아야 합니다. 이는 시스템을 개선하는 데 중요할 뿐만 아니라, 시스템을 감사하고 신뢰하는 데에도 중요합니다.

지능의 복리 효과 창출

최고의 AI 시스템은 사용하면서 더 좋아집니다. 100번째 상호작용은 첫 번째 상호작용보다 더 가치 있어야 합니다. 왜냐하면 시스템이 사용자, 워크플로우, 정책, 실패 및 선호도에 대해 더 많이 학습했기 때문입니다. 당신은 시스템이 무엇을 학습했는지뿐만 아니라, 그 학습 과정 자체 또한 소유해야 합니다.

시스템이 학습한다는 것은 무엇을 의미할까요?

그러한 학습 루프는 '흔적(traces)'에서 시작됩니다. 흔적은 에이전트가 실제로 무엇을 했는지 보여줍니다: 어떤 컨텍스트를 보았고, 어떤 도구를 호출했으며, 어디서 막혔고, 무엇을 생성했는지 말입니다. 피드백은 그 흔적에 의미를 부여합니다: 그 행동이 유용했는지, 수용되었는지, 거부되었는지, 비효율적이었는지, 위험했는지, 아니면 잘못되었는지를요. 이처럼 흔적과 피드백이 결합하여 개선을 위한 원자재가 됩니다.

이러한 흔적과 관련 피드백은 프롬프트(prompts), 하네스(harness), 도구 등을 변경함으로써 시스템을 개선하는 데 사용될 수 있습니다. 하지만 이러한 변화만큼이나 중요한 것은 그 변화와 관련된 '평가(evals)'입니다. 모든 변화에 대해 해당 변화를 포착하기 위한 평가를 추가하고, 미래의 변화가 회귀(regressions)를 일으키지 않도록 해야 합니다.

최소한으로라도, 이러한 학습 내용은 사용자에게 소유되어야 합니다. 모델에서 모델로, 시스템에서 시스템으로 이식 가능해야 합니다. 더 나아가 – 사용자가 처음 사용할 때 에이전트가 얼마나 잘 작동하는지는 중요하지 않습니다. 중요한 것은 100번째 사용할 때 얼마나 더 좋아지느냐입니다. 만약 그것이 중요하다면, 그 변화를 주도하는 루프 자체를 소유해야 합니다.

지능을 소유하기 위한 체크리스트

당신은 진정으로 당신의 지능을 소유하고 있습니까? 다음 질문들을 스스로에게 던져보며 확인해 볼 수 있습니다:

[ ] 만약 완전히 새로운 모델 제공업체가 내일 SOTA(State-of-the-Art) 모델을 출시한다면, 쉽게 전환할 수 있습니까?

[ ] 현재 사용 중인 모델 제공업체가 모델을 폐기(deprecates)한다면, 어떤 장애도 겪지 않도록 직접 호스팅할 수 있습니까?

[ ] 오케스트레이션 로직(orchestration logic)이 어떻게 작동하는지 알고 통제할 수 있으며, 모든 단계에서 LLM에 정확히 무엇이 들어가는지 알거나 통제할 수 있습니까?

[ ] 에이전트를 한 클라우드 환경과 다른 클라우드 환경, 또는 온디바이스(on device)에서 완전히 동일한 방식으로 실행할 수 있습니까?

[ ] 사용자별로 AI 지출을 모니터링하고 통제할 수 있습니까?

[ ] 누군가 에이전트가 왜 특정 행동을 했는지 묻는다면, 그들이 수행한 모든 단계의 전체 흔적(trace)과 (그것을 수행한 내부 로직)을 보여줄 수 있습니까?

[] 모델을 교체했을 때 회귀(regressions)가 발생하지 않을 것이라고 확신할 수 있는 평가 시스템(evals)을 갖추고 있습니까?

[] 사용자가 에이전트를 100번째 사용할 때, 첫 번째에 사용했을 때보다 더 많은 것을 알고 더 나은 경험을 제공할까요?

[] 당신의 에이전트가 학습할 때, 그 학습 내용을 완전히 다른 시스템으로 옮길 수 있습니까?

[] 당신의 에이전트가 어떻게 학습하는지 제어할 수 있습니까?

전략적 선택(The strategic choice)

기업들은 AI 스택의 모든 계층을 구축할 필요는 없습니다. 그들은 어렵고, 일반적이며, 차별화되지 않은 부분들을 구매해야 합니다.

하지만 그들이 소유해야 할 것은 우위가 복리처럼 쌓이는 계층입니다: 바로 에이전트 시스템(agent system), 이 시스템이 수행하는 작업에 대한 거버넌스(governance), 그리고 사용을 통해 더 나아지게 만드는 피드백 루프(feedback loop)입니다.

어떤 회사든 AI를 채택할 수 있습니다. 하지만 AI로 지속적인 가치를 창출하는 회사들은 자신들의 지능(intelligence)을 소유한 회사들이 될 것입니다.