ChatGPT에 당신의 스타트업 아이디어를 입력하면 그것이 유망하다고 말해줄 것입니다. 약간 더 좋지 않은 버전을 입력해도 똑같은 말을 할 것입니다. 이것이 AI로 스타트업 아이디어를 검증하려 할 때 발생하는 문제입니다. AI 도구들은 조사(Research)에는 탁월하지만, 당신에게 '아니오'라고 말하는 데는 형편없습니다. CB Insights가 483개의 사후 분석(Post-mortems)을 통해 분석한 바에 따르면, 스타트업의 42%가 아무도 제품을 필요로 하지 않기 때문에 실패하므로, AI가 무엇을 확인해 줄 수 있고 무엇을 확인해 줄 수 없는지 아는 것이 3개월을 아끼느냐 1년을 낭비하느냐의 차이를 만듭니다.

저는 창업자들이 자신의 아이디어를 다섯 가지 서로 다른 AI 검증기(Validators)에 통과시키고, 다섯 개의 고무적인 보고서를 수집한 뒤 그것을 증거로 취급하는 것을 보았습니다. 그것은 증거가 아닙니다. 하지만 저는 또한 창업자들이 AI라면 오후 한나절 만에 만들 수 있었을 경쟁사 스프레드시트를 수동으로 작성하는 데 6주를 소비하는 것도 보았습니다. 두 그룹 모두 기술을 잘못 사용하고 있으며, 단지 반대 방향일 뿐입니다.

그러니 제대로 선을 그어봅시다. 다음은 AI 검증이 실제로 다루는 영역, AI가 조용히 실패하는 지점, 그리고 당신이 환각(Hallucination) 위에 구축하지 않도록 실제 세상의 신호(Signal)와 AI를 결합하는 방법입니다.

AI가 스타트업 아이디어를 스스로 검증할 수 있을까?

아니요. AI는 시장 규모, 경쟁, 수요 신호와 같은 당신의 아이디어 중 조사(Research) 계층은 검증할 수 있지만, 대부분의 스타트업을 죽게 만드는 단 한 가지, 즉 실제 사람들이 당신의 특정 솔루션에 실제 돈을 지불할 것인지 여부는 검증할 수 없습니다. 그 부분은 여전히 인간이 필요합니다.

이렇게 생각해 보세요. 검증에는 두 가지 측면이 있습니다. 첫 번째 측면은 데스크 리서치(Desk research)입니다. 시장 규모는 얼마나 큰지, 다른 누가 이 문제를 해결하고 있는지, 사람들이 온라인에서 무엇에 대해 불평하는지, 현재 무엇에 비용을 지불하는지 등입니다. AI는 이 모든 면에서 당신보다 빠릅니다. 두 번째 측면은 행동 증거(Behavioral evidence)입니다. 낯선 사람이 자발적으로 문제를 설명하는 인터뷰, 콜드 트래픽(Cold traffic)이 전환되는 랜딩 페이지, 카드가 연결된 사전 주문 등이 이에 해당합니다. AI는 그 중 어떤 것도 만들어낼 수 없으며, 그런 척하는 도구들은 데이터가 아닌 안도감을 당신에게 팔고 있는 것입니다.

이를 제대로 이해하는 창업자들은 AI를 심판(judge)이 아닌 리서치 분석가(research analyst)로 대합니다. 분석가는 사례를 준비할 뿐이며, 시장이 최종 판결을 내리는 것입니다.

AI가 당신의 아이디어에 대해 실제로 검증할 수 있는 것은 무엇인가요?

AI는 시장 규모 산정(market sizing), 경쟁사 매핑(competitive mapping), 수요 신호 채굴(demand signal mining), 고객 페르소나 초안 작성(customer persona drafts)이라는 네 가지 검증 작업을 안정적으로 수행합니다. 과거에는 창업자들이 이를 수행하는 데 몇 주가 걸렸습니다. AI는 이를 몇 시간, 때로는 몇 분으로 압축합니다.

AI가 제 역할을 다하는 부분은 다음과 같습니다:

• 시장 규모 산정 (Market sizing). 웹 접속이 가능한 괜찮은 모델이라면 산업 보고서를 추출하고, 성장률을 교차 참조하여 TAM, SAM, SOM에 대한 방어 가능한 첫 번째 초안을 제공할 수 있습니다. 여전히 근거가 되는 출처를 확인해야 하지만, 뼈대를 잡는 데 2주 대신 20분이 걸립니다.
• 경쟁사 매핑 (Competitive mapping). 당신의 문제를 해결하는 모든 기업, 그들의 가격 책정, 포지셔닝(positioning), 그리고 리뷰 사이트에서 나타나는 약점을 물어보세요. 이것은 AI가 잘 수행하는 단순 반복 작업(grunt work)입니다. 기존 업체들에 대한 G2나 Capterra의 불만 사항은 활용 가능한 최고의 아이디어 연료 중 하나입니다.
• 수요 신호 채굴 (Demand signal mining). Trend Seeker나 Preuve와 같은 도구들은 Reddit 스레드와 커뮤니티 포럼을 뒤져 당신의 문제를 적극적으로 설명하고 있는 사람들을 찾아냅니다. 그것은 AI에 의해 표면화된 실제 인간의 좌절감입니다. 이것이 AI가 진정한 검증 증거에 도달할 수 있는 가장 가까운 지점입니다.
• 페르소나 초안 (Persona drafts). AI는 당신의 구매자가 누구일지, 무엇을 읽는지, 어떤 대안을 시도해 보았는지 스케치할 수 있습니다. 인터뷰에서 테스트할 가설로서 유용하지만, 인터뷰를 대신하는 용도로 사용한다면 위험합니다.
• 가격 벤치마킹 (Pricing benchmarks). 경쟁사가 얼마를 청구하는지, 요금제를 어떻게 구성하는지, 시장의 기준점(anchors)이 어디인지 파악합니다. 이 모든 것은 공개되어 있고, 스크래핑(scrapeable) 가능하며, 모두 공정한 정보입니다.

패턴을 주목하십시오. 이 목록에 있는 모든 것은 이미 존재하는 정보의 종합(synthesis)입니다. AI는 세계적인 수준의 사서(librarian)입니다. 다만 고객은 아닐 뿐입니다.

AI가 당신의 스타트업 아이디어에 대해 검증할 수 없는 것은 무엇인가요?

AI는 지불 의사 (willingness to pay), 창업자-시장 적합성 (founder-market fit), 또는 사람들이 실제로 구매하는 정서적 이유를 검증할 수 없습니다. 이것들은 바로 그 42%에 달하는 "시장 니즈 없음 (no market need)" 실패율의 핵심 요인들이며, 이것이 AI만으로 진행하는 검증이 매우 위험한 이유입니다.

지불 의사 (willingness to pay)가 가장 큰 문제입니다. 사람들은 설문조사에서 거짓말을 하며, 언어 모델 (language models)은 사람들이 무엇을 하는지가 아니라 무엇을 말하는지를 바탕으로 학습됩니다. "이것을 반드시 사용할 것이다"와 실제 결제 완료 사이의 간극은 스타트업이 몰락하는 지점입니다. 어떤 모델도 이 간극을 메울 수 없습니다. 오직 실제 결제, 서명된 의향서 (LOI), 또는 전환되는 대기 명단 (waitlist)만이 이를 증명할 수 있습니다.

다음은 창업자-시장 적합성 (founder-market fit)입니다. AI는 당신의 아이디어에 점수를 매길 수는 있지만, 당신이 해당 산업 내에서 8년을 보냈고 이번 주 금요일까지 20명의 따뜻한 소개 (warm intros)를 받아낼 수 있다는 사실이나, 당신이 6개월 안에 이 사업에 지루함을 느낄 것이라는 사실은 알 수 없습니다. 그러한 맥락은 아이디어가 적절한지 여부에 대한 모든 것을 변화시키며, 이는 전적으로 프롬프트 (prompt) 외부에 존재합니다.

그리고 구매 행동은 어떤 모델이 가정하는 것보다 덜 이성적입니다. 사람들은 기능 (features)을 위해 지불하는 만큼이나 지위 (status), 공포 감소 (fear reduction), 그리고 정체성 (identity)을 위해 지불합니다. 《The Mom Test》를 저술한 Rob Fitzpatrick은 창업자들에게 미래의 의도 대신 과거의 행동에 대해 묻지 않는 한, 직접적인 대화조차 예의 바른 거짓말을 만들어낸다는 것을 가르치는 데 수년을 보냈습니다. 훈련된 인간 인터뷰어조차 속는다면, 설문조사의 감성 (sentiment)을 요약하는 챗봇은 승산이 없습니다.

언급할 가치가 있는 또 다른 실패 모드(failure mode)는 다음과 같습니다: AI는 기본적으로 동조하는 성향 (agreeable)이 있습니다. 당신의 아이디어가 좋은지 물어보면, AI는 그것이 좋을 수 있는 이유를 찾아냅니다. 그것은 분석이 아닙니다. 그것은 어휘력이 더 나은 거울일 뿐입니다.

AI 아이디어 검증 도구들이 실제로 효과가 있을까요?

이 도구들은 판결이 아닌 연구 가속기 (research accelerators)로서 작동합니다. ValidatorAI, DimeADozen, IdeaProof와 같은 도구들은 당신의 아이디어 설명을 분석하여 몇 분 내에 시장 잠재력 (market potential), 경쟁 (competition), 그리고 리스크 (risk)에 대한 점수를 반환할 것입니다. 그 결과물을 구조화된 시작점으로만 취급하십시오. 그 이상은 아닙니다.

이러한 보고서에서 유용한 부분은 점수가 아니라, 거의 항상 반대 의견 (objections)입니다. 훌륭한 검증 도구는 당신이 발견하지 못했던 경쟁사, 고려하지 못했던 리스크 (risk), 그리고 아직 답변할 수 없는 질문들을 표면 위로 끌어올립니다. 그 답변되지 않은 질문들이 바로 당신의 인터뷰 스크립트 (interview script)가 됩니다.

위험한 부분은 가짜 정밀도 (false precision)입니다. "생존 가능성 점수 82/100"은 마치 증거처럼 느껴집니다. 하지만 도구는 아이디어 자체가 아니라, 당신이 기술한 아이디어에 대한 점수를 매긴 것입니다. 더 설득력 있게 설명하면 점수는 올라갑니다. 시장은 그런 방식으로 작동하지 않습니다.

또한 알아둘 만한 카테고리의 차이가 있습니다. 설명 기반 (Description-based) 도구는 당신의 피치 (pitch)를 채점합니다. 수요 기반 (Demand-based) 도구는 포럼, 커뮤니티, 검색 데이터를 탐색하여 실제 불만 사항을 찾아냄으로써 문제가 존재한다는 증거를 검색합니다. 만약 당신이 한 가지 카테고리만 사용한다면, 두 번째 카테고리를 사용하십시오. 문제에 대한 증거는 당신의 솔루션에 대한 의견보다 언제나 더 강력합니다.

합성 고객 (synthetic customers)을 사용해야 할까요, 아니면 AI 기반 인터뷰를 사용해야 할까요?

연습용으로만 사용하고, 결정을 내리는 용도로는 절대 사용하지 마십시오. 합성 사용자 (synthetic user) 플랫폼은 사용자당 단돈 0.99달러부터 AI로 생성된 페르소나 (personas)를 활용해 인터뷰 녹취록을 시뮬레이션해 줍니다. 이에 대한 Nielsen Norman Group의 평가는 예상 가능한 수준입니다. 즉, 이 도구들은 그럴듯한 (plausible) 응답을 만들어낼 뿐, 실제 (true) 응답을 만들어내지는 못한다는 것입니다.

합성 페르소나는 인터넷 텍스트의 평균값입니다. 그들은 일반적인 제품 관리자 (product manager)가 당신의 아이디어에 대해 그럴듯하게 말할 법한 내용을 알려줄 것입니다. 하지만 40명 규모의 물류 회사에서 운영을 담당하며 최근 소프트웨어 구매로 큰 손해를 본 Sarah가 자신의 예산으로 실제로 무엇을 할지는 알려줄 수 없습니다. 스타트업의 생존은 바로 이러한 'Sarah'들에게 달려 있습니다.

그럼에도 불구하고, 두 가지 정당한 용도가 존재합니다. 첫째, 연습 (rehearsal)입니다. 실제 잠재 고객과의 소중한 대화를 낭비하기 전에, 합성 페르소나를 대상으로 모의 인터뷰를 진행하는 것은 질문을 날카롭게 다듬을 수 있는 리스크가 낮은 방법입니다. 둘째, 초안 작성 (drafting)입니다. 합성 응답은 반대 의견을 예측하는 데 도움을 주어, 실제 통화 중에 당황하는 상황을 방지할 수 있습니다.

AI가 인터뷰에서 실제로 도움을 주는 부분은 물류 및 운영(logistics) 측면입니다. 15개의 대화를 녹음, 전사(transcription), 그리고 패턴 분석(pattern analysis)하는 것 말입니다. 서로 다른 네 명의 사람이 독립적으로 사용한 특정 문구를 찾아내는 것, 이것이 바로 실제 인간으로부터 나온 데이터에 AI가 잘하는 일을 적용하는 방식입니다. 진실의 근원(source of truth)은 인간으로 남고, 처리 과정이 자동화되는 것입니다.

AI 리서치와 실제 검증을 어떻게 결합할 것인가?

먼저 AI 리서치를 수행하여 빠르게 가설(hypotheses)을 세운 다음, 절약한 시간을 활용해 인간의 증거를 수집하십시오. 실제로 이는 약 1주일간의 AI 지원 데스크 리서치(desk work)를 거친 후, 2~3주간의 인터뷰 및 스모크 테스트(smoke tests)를 진행하는 과정입니다.

제가 오늘 실행한다면 다음과 같은 순서를 따를 것입니다:

1. 1~2일 차: AI 데스크 리서치 (AI desk research). 시장 규모 산정(market sizing), 경쟁사 분석(competitor teardown), 가격 벤치마킹(pricing benchmarks), 그리고 고객의 언어로 표현된 문제를 찾기 위한 Reddit 및 포럼 마이닝(mining). 사람들이 사용하는 정확한 문구를 저장하세요. 그것들은 나중에 랜딩 페이지(landing page)의 카피가 됩니다.
2. 3일 차: 중단 기준 (Kill criteria). 증거를 수집하기 전에, 무엇이 당신을 포기하게 만들지 적어두세요. 10명의 인터뷰 대상자 중 4명 미만이 자발적으로 문제를 설명하거나, 콜드 트래픽(cold traffic)에 대한 랜딩 페이지 전환율이 2% 미만인 경우 등, 당신의 모델에 적합한 기준을 세우세요. 감정적으로 몰입하기 전에 이를 결정하는 것이 핵심입니다.
3. 414일 차: 1015명의 실제 잠재 고객과 대화하기. 맘 테스트(Mom Test) 규칙을 따르세요: 미래의 의도가 아닌 과거의 행동을 물어야 합니다. AI 리서치를 활용해 더 날카로운 질문을 던지고, 대화가 끝난 후에는 AI를 사용하여 전사(transcribe)하고 대화 전반에서 패턴을 찾으세요.
4. 15~21일 차: 스모크 테스트 (smoke test) 실행. 랜딩 페이지를 만들고, 100~200달러 정도의 광고를 집행하며, 실제적인 요구(ask)를 던지세요: 이메일 주소, 예약금, 또는 상담 예약 등입니다. 여기서 유일하게 가치 있는 통화(currency)는 행동뿐입니다.
5. 22일 차: 당신의 기준에 따라 결정하기. 당신의 열정에 따라 결정하는 것이 아닙니다.

AI가 초반의 힘든 작업(heavy lifting)을 수행하고 후반의 분석을 담당한다는 점을 알게 되겠지만, 중간 단계의 모든 실행(go) 또는 중단(no-go) 입력은 실제로 무언가를 수행하는 실제 인간으로부터 나옵니다. 인터뷰 노트, 경쟁사 데이터, 테스트 결과가 쌓이기 시작하면 연구 내용을 체계적으로 정리하는 것도 중요합니다. 일부 창업자들은 Notion이나 스프레드시트에서 이 모든 것을 관리합니다. Foundra와 같은 구조화된 기획 도구는 검증(validation)과 경쟁 분석(competitive analysis)을 단계별로 안내해주는데, 이는 이 과정을 처음 해보는 경우에 도움이 됩니다. 어떤 시스템을 사용하든 원칙은 동일합니다. AI는 증거를 정리하고, 인간은 증거를 생성합니다. 그리고 진행 과정에서 빠른 수치가 필요하다면, foundra.ai/tools/의 무료 계산기를 통해 스프레드시트 없이도 시장 규모(market sizing)와 스타트업 비용을 확인할 수 있습니다.

AI 검증에 과도하게 의존하고 있다는 경고 신호는 무엇인가요?

가장 명확한 신호는 모든 증거가 '말(words)'뿐이고 '행동(behavior)'은 전혀 없다는 것입니다. 만약 당신의 검증 폴더가 AI 보고서, 생존 가능성 점수(viability scores), 설문 조사 요약본으로 가득 차 있지만, 결제, 사전 주문, 또는 콜드 트래픽 전환(cold-traffic conversions)이 전혀 없다면, 당신은 아직 아무것도 검증하지 못한 것입니다.

제가 지적하고 싶은 몇 가지 다른 신호들은 다음과 같습니다:

• 실제 잠재 고객(prospects)과는 5명 미만으로 대화했지만, 아이디어를 5개 이상의 AI 도구에 돌려보았다. 이 비율은 반대가 되어야 합니다.
• 모든 AI 응답이 당신이 이미 믿고 있던 것을 확인해 주었다. 진정한 검증은 놀라움을 만들어냅니다. 만약 아무것도 당신을 놀라게 하지 않았다면, 당신은 테스트를 한 것이 아니라 확인(confirming)을 한 것입니다.
• 생존 가능성 점수는 인용할 수 있지만, 고객의 말은 인용할 수 없다. 만약 당신의 노트에 실제 인물의 정확한 말이 등장하지 않는다면, 시장은 아직 입을 열지 않은 것입니다.
• 두려운 부분을 미루기 위해 AI의 동의를 이용하고 있다. 요청을 보내고, 전화를 걸고, 카드로 결제하는 것 말입니다. 연구는 더 나은 제작 가치(production values)를 가진 미루기(procrastination)가 될 수 있습니다.

이 중 어떤 것도 AI를 늦추라는 뜻이 아닙니다. 도구를 작업에 맞게 매칭하라는 뜻입니다. 연구는 속도감 있게, 진실은 인간이.

핵심 요약 (Key takeaways)

• AI는 리서치 레이어 (research layer)를 검증합니다: 시장 규모 (market size), 경쟁사 (competitors), 가격 책정 (pricing), 그리고 실제 커뮤니티에서 추출한 수요 신호 (demand signals)를 분석합니다. 이는 몇 주가 걸릴 데스크 워크 (desk work)를 단 몇 시간 만에 수행합니다.
• AI는 지불 의사 (willingness to pay), 창업자-시장 적합성 (founder-market fit), 또는 실제 구매 행동 (buying behavior)을 검증할 수 없습니다. 이러한 요소들은 인터뷰 (interviews), 스모크 테스트 (smoke tests), 그리고 실제 거래 (actual transactions)를 필요로 합니다.
• 스타트업의 42%가 시장 요구 (market need)의 부재로 실패하며, 그 답은 거의 항상 출시 전에 이미 존재했습니다. AI는 리서치를 더 빠르게 만들 뿐, 실제 사람들에게 물어봐야 하는 필요성을 제거하지는 않습니다.
• AI 검증 점수 (validator scores)는 당신의 아이디어가 아니라 당신의 설명 (description)을 평가합니다. AI가 제기하는 반론 (objections)은 활용하되, 점수 자체는 무시하세요.
• 합성 고객 (Synthetic customers)은 연습 파트너일 뿐, 증거가 아닙니다. 진실의 원천 (Sources of truth)은 반드시 인간이어야 합니다.
• 최적의 워크플로우 (workflow): 먼저 AI 데스크 리서치 (desk research)를 수행하고, 두 번째로 폐기 기준 (kill criteria)을 설정한 뒤, 10~15회의 Mom Test 인터뷰와 유료 스모크 테스트 (paid smoke test)를 진행하세요. 열정이 아닌, 미리 설정된 기준에 따라 결정하세요.

FAQ

ChatGPT가 내 스타트업 아이디어를 검증할 수 있을까요?
검증이 아니라 리서치를 할 수 있습니다. ChatGPT는 시장 규모 산정 (market sizing), 경쟁사 목록 작성, 인터뷰 질문 초안 작성 등에 유용하지만, 기본적으로 동의하는 방향으로 학습되어 있으며 실제 고객의 행동에 접근할 수 없습니다. 검증을 수행하는 용도가 아니라, 검증을 준비하는 용도로 사용하세요.

스타트업 아이디어 검증을 위한 최고의 AI 도구는 무엇인가요?
설명 기반 (description-based) 도구보다 수요 기반 (demand-based) 도구가 더 뛰어납니다. Reddit이나 포럼에서 문제의 증거를 추출하는 도구 (Trend Seeker, Preuve)는 실제 인간의 신호 (human signal)를 제공하는 반면, 설명 평가 도구 (ValidatorAI, DimeADozen)는 주로 당신의 피치 (pitch)에 대한 구조화된 피드백을 제공합니다. 점수가 아닌, 도구가 제기하는 반론 (objections)을 활용하기 위해 이들을 사용하세요.