어떤 프론티어(frontier) 모델을 기반으로 구축된 모든 제품은 '단지 래퍼(wrapper)'일 뿐이며, 하나의 프롬프트만 거르면 쓸모없게 될 것이라는 지루한 주장이 있습니다. 이는 게으른 주장입니다. 우리가 의존하는 대부분의 제품들은 무언가 아래에 있는 것을 감싸는 래퍼들입니다. 데이터를 기반으로 하는 AI 제품을 구축하거나 평가하는 사람에게 유용한 질문은 더 날카롭습니다. 기본 모델(base model) 자체만으로는 재구성할 수 없는, 당신이 소유한 것은 무엇인가?
저는 이런 많은 제품들을 살펴봅니다. 지속 가능한 제품과 일회성 제품을 구분 짓는 패턴은 거의 항상 모델이 아니라 데이터에 관한 것입니다. 저는 데이터를 실제로 다루는 사람들을 위해 다음과 같이 생각합니다.
모델은 밀려오는 조수(rising tide)이므로, 당신의 해자(moat)가 될 수 없다
프론티어 모델들은 이제 대부분의 작업에서 충분히 뛰어나서, 잘 프롬프트된 기본 모델과 고도로 조정된 전문 모델 간의 미세한 품질 차이는 사용자에게 보이지 않습니다. 추론 비용은 계속 저렴해지고 빨라집니다. 만약 당신 제품의 핵심이 '우리가 기본 모델을 워크플로우 X에 사용 가능하게 만든다'라면, 그리고 기본 모델이 X를 네이티브(natively)로 수행하기 시작한다면, 당신과 0 사이의 간격은 짧습니다.
따라서 모델 품질은 해자가 될 수 없습니다. 그것은 모두에게 한 번에 향상됩니다. 질문은 다른 모든 사람이 더 나은 모델을 공짜로 얻는 와중에도, 오직 당신에게만 구체적으로 복리(compounds)가 되는 것은 무엇인가 하는 것입니다.
데이터를 기반으로 하는 AI 제품을 위한 세 가지 진단 지표
1. 사용자가 사용할수록 제품이 측정 가능하게 더 나아지는가?
사용자의 행동, 수정 사항, 에스컬레이션(escalations) 등이 그들의 경험을 향상시키는 신호가 된다면, 매주 사용은 해자 벽돌이 됩니다. 만약 제품이 정적이라면, 첫날과 천 날의 품질이 같다면, 당신은 공급업체의 로드맵에서 이점을 임대하는 것입니다. 제가 보는 가장 흔한 실패 사례는 매일 풍부한 피드백 데이터를 생성하지만, 그것을 일시적인 이벤트로 모두 폐기하는 제품입니다.
2. 다른 누구도 합리적인 비용으로 얻을 수 없는 독점 데이터(proprietary data)를 소유하고 있는가?
프롬프트가 아닙니다. 시스템 메시지도 아닙니다. 라벨링된 결과물입니다. 통합(integration)입니다. 모델이 틀렸을 때 인간에게 에스컬레이션하는 경로입니다. 승인 워크플로우입니다. 새로운 모델에게 귀하의 특정 도메인에서 '정확하다'는 것이 무엇인지 가르치는 역사적 결정들입니다. "저희 프롬프트가 정말 좋아요"는 데이터 자산이 아닙니다. "다른 누구도 얻을 수 없는 3년간의 백만 건 라벨링된 결과물은 저희가 가지고 있습니다"가 진짜 데이터 자산입니다.
3. 구조적으로 귀하의 데이터 우위는 어디에서 옵니까?
가장 방어하기 쉬운(defensible) 수직형 제품들은 데이터 자체가 얻기 어려운 곳에 위치합니다. 왜냐하면 그 데이터가 비용이 많이 들거나, 규제 대상이거나, 혹은 기존 강자들(incumbents) 안에 갇혀 있어 공유할 이유가 없기 때문입니다. 만약 귀하의 해자(moat)에 대한 솔직한 대답이 "이 데이터셋을 확보하고 구조화하는 데 2년이 걸렸습니다"라면, 그것은 진짜 해자입니다. 원격 측정(Telemetry), 규제 기록, 도메인별 시뮬레이션, 엔지니어링 데이터 등, 데이터 획득 자체가 어려운 곳이라면 어디든 해당됩니다.
의도적으로 캡처 루프를 구축하라
문제는 창업자들이 예상하는 것보다 시작 비용이 훨씬 저렴합니다. 저는 최근 실제 매출을 올리는 강력한 팀에게 사용량 6개월만으로도 진지한 데이터 자산을 구축하기에 충분하다고 말했지만, 그들은 아무것도 캡처하지 않고 있었습니다. 제품이 내린 모든 추천(accepted or rejected)은 라벨링된 결과물이었지만, 그것들은 버려지고 있었습니다.
재구축은 개념적으로 간단했습니다. 승인되거나 거부된 모든 추천을 고객별 신호로 되돌려 보내 다음 결과를 개선하도록 하는 것입니다. 이것을 12개월 동안 지속하면, 새로운 모델이 복제할 수 없는 무언가를 갖게 됩니다. 왜냐하면 그것을 재현하려면 모델 공급업체가 가지고 있지 않은 귀하의 고객 데이터가 필요하기 때문입니다.
그것이 바로 기본 모델(base model)이 개선될 때마다 우위가 감쇠하는 제품과, 우위가 복합적으로 증가하는(compounds) 제품 사이의 차이점입니다. 데이터 계층이야말로 지속 가능성(durability)이 존재하는 곳입니다.
이것이 실제로 의미하는 바는 무엇인가
만약 당신이 데이터를 소유한다면, 피드백 루프를 기능(feature)이 아니라 제품 자체로 취급하세요. 신호(signal)를 담고 있는 모든 상호작용을 측정(instrument)하세요. 수정 사항들을 로그 노이즈가 아닌 1급 학습 데이터(first-class training data)로 저장하세요. 당신의 가장 가치 있는 자산, 즉 당신의 도메인에서 '정확한' 것이 무엇인지에 대한 레이블링된 기록이 나중에 되돌아가서 재구성해야 하는 것이 아니라 일반적인 사용 과정의 부산물로 축적되도록 하세요.
모델 품질은 모든 보트를 한 번에 들어 올리는 조수(tide)와 같습니다. 운영하는 동안 포착하는 데이터는 경쟁사들이 아무리 빠르게 제품을 출시하더라도 복제할 수 없는 유일한 것입니다.