0. 서론

Matsuo Institute에서 시니어 AI 컨설턴트로 근무하고 있는 카도야(角谷)입니다. 기업의 다양한 경영 및 사업 과제에 대해 AI 기술을 축으로 한 과제 해결 지원을 하고 있습니다.

얼마 전 게시된 「AI 시대의 경쟁 우위는 어디에 있는가: PL 사고에서 BS 사고의 투자로」 기사에 이어, 이번에는 속편을 전달해 드립니다.

다시 한번, 아래의 기사입니다.

여기에서는 AI 활용이 「PoC의 시대」에서 「오퍼레이션(Operation)의 시대」로 이행하는 가운데, 단기적인 ROI를 쫓는 「PL 사고의 AI 투자」뿐만 아니라, 모델이 진화해도 진부화되지 않는 「자산」(데이터, 평가 기준, 업무 프로세스의 유형)을 쌓아 올리는 「BS 사고의 AI 투자」가 중장기적인 경쟁 우위의 열쇠가 된다는 생각에 대해 말씀드렸습니다.

이런 상황을 겪고 계시지는 않습니까?

AI 활용이 잘 돌아가고 있는 현장을 자세히 살펴보면, 많은 경우 숙련된 멤버 한 명이 지탱하고 있습니다. 프롬프트(Prompt)의 요령도, 출력물의 좋고 나쁨을 판별하는 방법도 그 사람의 머릿속에 있습니다. 다만, 그 사람이 이동하면 멈추고, 옆 팀으로는 전달되지 않습니다. 지난번에 언급한 『AI 자산』은 방치하면 이런 형태로 사람 안에 쌓였다가 사라져 버립니다. 본 기사에서는 이를 개인이 아닌 조직에 쌓아 올리는 메커니즘을 말씀드리겠습니다.

1. AI 자산은 어떻게 쌓이는가

1.1 데이터 플라이휠(Data Flywheel)의 구축

먼저 AI 자산이 무엇인지에 대해 되짚어 보겠습니다. 지난 기사에서는 AI 자산이란 「① 모델이 진화해도 진부화되지 않고, ② 시장에서 조달할 수 없는 것」이며, 구체적으로는 데이터나 업무 프로세스의 유형 등이 꼽힐 수 있다고 말씀드렸습니다.

서론에서 언급했듯이, 이것들은 방치한다고 해서 쌓이지 않습니다. 핵심은 자산이 쌓이도록 업무의 「메커니즘(Mechanism)」 자체를 설계하는 것입니다.

지난 기사에서도 언급되었듯이, AI는 기존의 시스템과 달리 운용해야만 가치가 올라갑니다. 실제 업무 속에서 운용하고 계속 개선함으로써 AI 에이전트(Agent)의 성능은 향상되지만, 그 「기르는 힘」은 의식적으로 가져가려는 설계를 해야만 비로소 자사에 축적됩니다.

그 메커니즘의 핵심이 바로 **데이터 플라이휠(Data Flywheel)**입니다. 데이터 플라이휠이란 AI의 운용·평가·개선을 반복함으로써 운용 로그(Log)나 평가 결과를 축적하고, 이를 다음 단계의 정밀도 향상으로 연결하는 메커니즘입니다. 이번에는 이 데이터 플라이휠을 실제로 어떻게 구축하고, 어떻게 조직의 자산으로 바꾸어 나갈 것인지에 대해 다음과 같이 정리해 보았습니다.

이 플라이휠은 우선 하네스(Harness)가 작게 돌아가기 시작하는 곳에서 출발합니다. 하네스란 모델 단독의 똑똑함뿐만 아니라 프롬프트나 툴 연동, 메모리(Memory), 실행 환경, 워크플로우(Workflow), 가드레일(Guardrail), 평가·검증(AI가 자신의 행동 결과를 확인하기 위한 것) 등 모델을 둘러싼 환경 전체를 가리키는 말입니다.

이렇게 초기에 설계된 하네스는 업무 운용을 거듭할 때마다 조금씩 크게 성장합니다. 여기서 「성장한다」는 것은 하네스 내의 검증 규칙이나 예외 대응, 툴 연동이 개선되어 AI에게 맡길 수 있는 범위가 넓어지는 것을 의미합니다. 그리고 하네스가 성숙해지면 옆에 있는 코어 모델(Core Model)의 기어와 맞물리기 시작합니다.

함께 돌아가기 시작하면 하네스가 기록한 운용 로그나 평가 결과가 코어 모델의 개선에 사용되고, 개선된 코어 모델이 다시 새로운 운용 결과를 만들어내는 순환이 발생합니다. 이 맞물림을 통해 모델 자체의 정밀도가 올라갈 뿐만 아니라, 하네스와 코어 모델이 일체화된 메커니즘 전체(이하 프레임워크(Framework))의 품질도 연마되어, 결과적으로 프레임워크 전체의 가치가 높아지게 됩니다.

또한, 이 회전은 다른 한 축인 「데이터」의 고리에도 전달됩니다. 루프(Loop)를 돌릴 때마다 운용 데이터(운용 로그)가 쌓이며 그 양과 질이 높아집니다. 이처럼 데이터 플라이휠에서는 하네스라는 작은 메커니즘을 기점으로, 그곳에 코어 모델이 맞물리며 운용과 개선의 사이클을 계속 돌림으로써 프레임워크 및 데이터 가치의 향상으로 연결해 나갑니다.

참고로 여기서 말하는 코어 모델의 개선이란, 범용 API를 그대로 사용하는 것이 아니라 축적된 데이터로 자사 업무에 특화된 모델을 기르는 것을 의미합니다. 다만 모든 업무에서 이것이 필요한 것은 아닙니다. 하네스를 다듬는 것만으로도 실용 수준에 도달하는 업무가 많으며, 그 경우에는 하네스의 고리만 계속 돌리는 형태만으로도 충분히 자산은 쌓입니다. 코어 모델의 개선은 어디까지나 하네스만으로는 도달할 수 없는 경우의 선택지입니다 (상세 내용은 2장).

1.2 실제 운용 이미지

그렇다면 실제 업무 속에서는 어떤 운용이 이루어질까요? 여기서는 제조업의 장치 설계 업무를 예로 들어 구체적인 이미지를 떠올려 보시기 바랍니다.

이 업무에서는 설계자가 고객 요구사항을 정리한 사양서를 기점으로 설계안을 작성하고, 상사나 베테랑 설계자의 리뷰를 거쳐 도면을 확정해 나갑니다. 이를 AI 에이전트(AI Agent)화할 경우, 가장 먼저 착수해야 할 것은 프롬프트(Prompt)를 작성하는 것이 아니라, 평가 기반의 설계, 즉 "무엇을 좋은 설계안으로 볼 것인가"를 평가 기준으로 언어화하는 것입니다.

구체적으로는 사내 설계 기준이나 안전율과 같은 규격 적합성 관점에 더해, 지금까지 베테랑이 암묵적으로 살펴왔던 리뷰 관점(유지보수성, 조립성, 과거 트러블 사례에 대한 고려 등)을 명문화해 나갑니다. 이 작업은 지루할 수 있지만, 후술하듯 여기서 정비한 평가 기준이야말로 향후 자산의 핵심이 됩니다.

한편, 베테랑의 리뷰 관점에서 견해가 갈리거나, 애초에 과거의 판단이 기록으로 남아 있지 않는 등의 이유로 이 명문화 작업에서 난관에 부딪히기 쉽다는 점에도 주의가 필요합니다. 처음부터 완벽한 기준을 목표로 하기보다는, 의견이 갈리는 부분은 가설로 둔 채 일단 운영을 시작하고, 운용하면서 정교하게 다듬어 나가는 것이 현실적이라고 할 수 있습니다.

평가 기준이 갖춰지면 루프(Loop)가 돌기 시작합니다. 설계자가 사양서를 입력하면 AI 에이전트(AI Agent)가 설계안을 출력하고, 그것이 평가 기준에 비추어 평가되며, 평가 결과에 기반하여 개선된 설계안이 생성됩니다. 설계자는 이를 리뷰하고 필요에 따라 손을 보아 확정합니다.

통상적인 업무라면 여기서 남는 것은 확정된 도면뿐입니다. AI의 초안도, 평가 결과도, 설계자가 어디를 어떻게 수정했는지도 프로젝트가 끝나면 사라집니다. 데이터 플라이휠(Data Flywheel)에서는 이 일련의 주고받음을 서로 연결된 데이터로서 축적합니다.

그중에서도 가치가 높은 것이 AI의 초안과 설계자가 최종적으로 수정한 버전 사이의 "차이(Difference)"입니다. 거기에는 AI가 놓치기 쉬운 관점이나, 숙련자가 무엇을 근거로 어떻게 수정했는지에 대한 판단이 기록되어 있습니다. 외부에서 구매할 수도, 모델의 진화로 얻을 수도 없는, 자사만이 가진 데이터입니다. 그것이 대부분의 기업에서는 매일 버려지고 있습니다.

그리고 이 축적이 다음 루프에서 AI 에이전트(AI Agent)의 개선이나 모델 학습에 사용됩니다. 한 바퀴 돌 때마다 평가 기준은 정교해지고, AI의 초안 정밀도는 올라가며, 설계자의 수정량은 줄어듭니다. 업무를 수행하는 것 자체가 자산 형성이 되는 상태, 이것이 데이터 플라이휠(Data Flywheel)이 기능하고 있는 상태입니다.

이는 설계 업무에만 국한된 이야기가 아닙니다. PoC나 개발 설계 단계부터 이러한 관점을 가질 수 있느냐에 따라, 그 자리의 성과물로 끝날지 자산이 남을지가 갈립니다. 나아가 다른 업무로 수평 전개할 수 있다면, 축적되는 속도 그 자체가 올라가게 됩니다.

2. 축적한 AI 자산을 어떻게 활용할 것인가: 하네스(Harness)의 고도화와 특화형 모델

지금까지 하네스(Harness)와 코어 모델(Core Model)이 맞물리며 데이터라는 자산을 축적해 나가는 메커니즘에 대해 살펴보았습니다. 그렇다면 데이터 플라이휠(Data Flywheel)을 돌림으로써 축적된 자산은 일상적인 운용을 개선하는 것 외에 어떻게 응용할 수 있을까요?

사실 데이터 플라이휠(Data Flywheel)을 돌리는 과정에서 축적되는 "하네스(Harness)", "평가 기반", "운용 로그"는 각각 강화학습(RL)에서의 학습 환경, 바람직한 행동에 높은 평가를 부여하는 보상 설계(Reward Design), 학습 데이터에 대응합니다. 1.2의 설계 업무로 말하자면, 베테랑의 리뷰 관점을 언어화한 평가 기준이 보상 설계에, AI의 초안과 설계자의 수정본 사이의 차이가 학습 데이터에 해당합니다.

여기서 강화학습(RL)이란, AI가 실제로 행동하고 그 결과에 대해 보상을 얻으며 시행착오를 거듭함으로써 더 나은 행동을 학습해 나가는 기법을 가리킵니다. 데이터 플라이휠(Data Flywheel)을 통해 이 세 가지 요소가 이미 갖춰져 있다면, 강화학습(RL)을 통한 모델 튜닝(Tuning)에도 새롭게 도전하기 쉬워지며, 특정 업무에 대한 정밀도를 더욱 끌어올릴 수 있을 것으로 기대할 수 있습니다.

다만, 여기서 강조하고 싶은 점은 데이터가 쌓였으니 특화형 모델을 만들어야 한다는 이야기가 아니라는 것입니다. 저희가 권장하는 순서는 다음과 같습니다.

먼저に取り組むべき(착수해야 할) 것은 어디까지나 하네스(Harness)의 고도화와 평가 기반의 정교화입니다. 프롬프트(Prompt)나 도구 연동, 워크플로우(Workflow) 분할, 평가 기준 재검토와 같은 고안을 통해 도달할 수 있는 정밀도는 상상 이상으로 높으며, 모델을 학습시키는 것보다 더 빠르고 저비용으로 개선 루프를 돌릴 수 있습니다.

그 후에, 그럼에도 손이 닿지 않는 업무가 나타났을 때 비로소 학습이 선택지에 들어갑니다. 구체적으로는 암묵지의 비중이 커서 언어화된 기준만으로는 정밀도를 내기 어려운 업무나, 반대로 대량 반복이 전제되어 범용 모델의 API 비용이 부담되는 업무 등이 이에 해당합니다.

그리고 중요한 것은, 하네스(Harness)만으로는 해결할 수 없는 영역은 경쟁사도 똑같이 벽에 부딪히기 쉬운 영역이다라는 점입니다. 그 벽을 자사 데이터로 넘을 수 있느냐가 경쟁 우위를 좌우합니다. 그렇기에 매일의 업무 속에서 그 벽을 넘기 위한 자산을 쌓아두는 것에 의미가 있습니다.

3. 인간에게 요구되는 역할은 어떻게 변화하는가

지금까지 데이터 플라이휠 (Data Flywheel)을 통해 자산을 쌓고, 이를 하네스의 고도화나 모델 학습에 활용해 나가는 흐름을 살펴보았습니다. 그렇다면 이렇게 AI가 루프를 돌리게 되었을 때, 인간의 역할은 어떻게 변해갈까요?

지금까지 인간이 담당해 온 것은 말하자면 '작업자'로서의 역할이었습니다. 당장 모든 작업을 AI가 담당하게 되는 것은 아니지만, 데이터 플라이휠이 돌아가기 시작하면 AI에게 맡길 수 있는 범위는 착실히 넓어질 것입니다. 그 끝에 상정되는 것은 지시에 따라 작업을 수행하는 역할의 상당수가 에이전트 (Agent)로 대체되는 세상입니다.

그렇게 되었을 때, 인간에게 요구되는 역할은 '감독자'로 변화합니다. 구체적으로는 하네스나 평가 기반, 어디까지를 AI에게 맡길지를 설계하는 루프 개선, 무엇을 좋다고 할지를 언어화하는 평가 설계, AI에게 부여할 목적이나 가설을 정하는 의도 지시, 중간 결과물을 체크하는 품질 관리, 최종적으로 책임을 지고 판단을 내리는 의사결정·판단이라는 5가지 역할이 주로 꼽힙니다.

이것들은 한 사람이 전부를 담당한다기보다, 기존 역할 분담의 연장선상에 놓이게 될 것이라고 생각합니다. 초기의 루프 개선과 평가 설계는 프레임워크 그 자체를 만드는 일이며, 엔지니어(Engineer)나 업무 설계를 담당해 온 사람들이 계속해서 맡게 될 영역입니다. 반면 의도 지시, 품질 관리, 의사결정·판단은 목적을 부여하고 진행 상황을 지켜보며 마지막에 책임을 지는, 매니저(Manager)적인 입장의 사람들이 지금까지 해온 일과 유사합니다.

이 중 품질 관리와 의사결정·판단은 비슷해 보일 수 있지만, 전자는 주니어의 중간 결과물을 매니저가 리뷰하는 것과 마찬가지로 에이전트의 작업 중간 과정을 확인하여 궤도를 수정하는 역할입니다. 후자는 완성된 결과물에 Go를 내는 역할로, 모든 기준을 충족하더라도 사업상의 맥락이나 윤리적인 관점에서 최종적으로 어떻게 할지를 판단하고 그 책임을 집니다. 다시 말해, 평가 설계가 기준을 '만들고', 품질 관리가 그것을 '운영하며', 의사결정·판단이 기준만으로는 설명할 수 없는 부분을 '떠맡는' 관계에 있습니다.

이러한 변화가 의미하는 바는 성과의 질이 '작업의 숙련도'가 아니라, 어떤 질문을 던지고 어떤 기준으로 판단하느냐 하는 상류(Upstream) 단계에서 결정되게 된다는 것입니다. 실행을 AI에게 맡기더라도 설명 책임(Accountability)은 인간에게 계속 남는 이상, 좋은 판단을 내릴 수 있다는 것 자체가 AI 시대의 경쟁 우위의 원천이 되어갑니다.

4. 마치며

여기까지 읽어주셔서 감사합니다.

본 기사에서는 데이터 플라이휠을 통해 하네스, 모델, 데이터를 지속적으로 개선하며 AI 자산을 축적하는 사고방식을 소개했습니다. 다만, 특화형 모델 구축이 곧 목표는 아닙니다. 우선은 하네스로 도달할 수 있는 범위를 넓히고, 그럼에도 넘을 수 없는 벽이 보일 때 비로소 검토한다는 순서가 중요합니다.

중요한 것은 단기적인 성과뿐만 아니라, 데이터와 모델을 지속적으로 개선할 수 있는 메커니즘을 처음부터 설계하는 것입니다. 데이터 플라이휠은 계속해서 돌려야만 비로소 자산이 됩니다.

인간의 역할에 대해서도 '감독자'로 변화한다고 기술했습니다만, 다시 한번 AI를 활용해 나가는 과정에서 인간으로서 어디에 개입하고 어디를 맡길 것인지를 파악하는 것 또한 이러한 메커니즘을 장기적으로 기능하게 하고 조직으로서의 경쟁 우위를 구축하는 데 있어 매우 중요해질 것입니다.

앞으로도 마츠오 연구소(Matsuo Institute)에서는 단발적인 PoC로 끝나는 AI 활용이 아니라, 데이터 플라이휠을 통해 중장기적인 자산이 쌓여가는 AI 활용의 방식에 대해 실천을 통해 얻은 지견을 전달해 드리고자 합니다.

Discussion