모두가 그렇게 합니다. 랜딩 페이지를 챗봇에 붙여넣고 "사람들이 이걸 살까요?"라고 질문합니다.
챗봇은 격려하는 듯한 답변을 내놓고 몇 가지 수정 사항을 제안하며, 사용자는 자신이 옳았다는 느낌을 받습니다. 이것이 바로 문제입니다.
챗봇의 답변 하나가 오도하는 세 가지 이유
1. 단 하나의 목소리입니다. 당신의 시장은 선불 데이터(prepaid data)를 사용하는 학생들, 배우자에게 먼저 물어보는 부모들, 그리고 작년에 온라인 강좌에 돈을 잃었던 누군가로 구성되어 있습니다. '일반적인 고객'으로서 답변하는 한 명의 어시스턴트는 이 모든 사람들의 특성을 평균화해버립니다.
2. 당신에게 동조하려는 경향이 있습니다. 채팅 어시스턴트는 도움이 되고 동의하기 쉬운 방식으로 조정(tuned)되어 있습니다. "사람들이 이걸 살까요?"라는 질문은 '예'라는 답변을 유도하는 질문입니다.
3. 수치가 너무 깔끔합니다. 모델에게 구매 의향(purchase intent)을 1부터 5까지로 평가해 달라고 요청하면, 좁고 비현실적인 분포를 얻게 됩니다. Semantic similarity rating에 관한 2025년 논문(arXiv 2510.08338)은 모델이 자신의 말로 답변하게 한 다음, 그 단어들을 기준 진술(anchor statements)과 비교하여 점수를 매기는 방식이 실제 설문 조사 패널에 훨씬 가깝다는 것을 발견했습니다.
대신 무엇을 해야 할까요
페르소나(persona)가 아닌 **인구 집단(population)**을 구축하고, 여러 모델의 목소리를 듣게 하세요.
이것이 MarketMirror가 하는 일입니다. 하나의 Fitloop 실행(가상의 피트니스 앱)에서 2,999명의 시뮬레이션된 사람들을 작성하고 인터뷰했습니다. 이들은 Claude에 의해 3분의 1, Codex에 의해 3분의 1, Gemini에 의해 3분의 1씩 맡았습니다. 각 그룹에게는 이번 달 돈 문제, 휴대폰 및 데이터 요금제, 구매 전 누구에게 물어보는지, 그리고 사기를 당했던 경험 등에 대해 질문했습니다. 그런 다음 그들에게 제안을 보여주었습니다.
_동일한 제안_에 대해 여러 모델(모두 시뮬레이션된)이 답변했을 때 어떤 일이 일어났는지 살펴보세요:
| People written by | Answered by | Yes / maybe / no |
|---|
| Claude (1,000) | Claude | 1.3% / 75.6% / 23.1% |
| ... | | |
| Do the models agree? | | |
한 모델은 "아마도(maybe)"라고 말했고, 다른 모델은 거의 항상 "안 돼(no)"라고 말했다. 만약 당신이 그들 중 단 한 명에게만 물었다면, 같은 출시 건에 대해 매우 다른 확신을 가지고 돌아왔을 것이다.
(Gemini 행은 Gemini가 작성한 사람이 Claude에 의해 답변함: Gemini의 할당량이 실행 도중에 소진됨. 그 사람들은 마치 Claude처럼 답변했는데, 이는 답변하는 모델이 그 사람을 쓴 모델보다 결과에 훨씬 더 큰 영향을 미친다는 것을 의미합니다.)
이것이 제공하는 것
- 판결(verdict)이 아닌 범위(range). 모델들이 의견이 다를 때, 솔직한 대답은 "이 두 가지 사이"이며, 당신은 그것을 알게 됩니다.
- 모든 모델을 통과한 반론(objection). 세 그룹 모두 동일한 최고 반론을 지적했습니다: 신뢰(trust) (전체 59.6%). 이것이 가장 먼저 고쳐야 할 부분입니다.
- 사람별 자유 텍스트 이유(free-text reasons), 청중별로 그룹화되어 있어 누가 왜 "안 돼"라고 말하는지 알 수 있습니다.
한계점 (이것들을 읽으세요)
이 사람들은 합성(synthetic) 데이터입니다. 모델들 간의 일치성은 시뮬레이션에 대한 견고성 검사(robustness check)일 뿐, 실제 구매자에 대한 증거가 아닙니다. 이를 사용하여 실제로 테스트할 항목을 선택하고, 그 실제 테스트를 소규모로 실행하세요.
사용해 보기
오픈 소스(Open source)입니다 (AGPL-3.0). Claude Code, Codex, Cursor, Gemini 또는 모든 MCP 에이전트에서 작동합니다. 평범한 말로 질문하세요.
👉 https://github.com/DarkWorldCoder/market-mirror (별점(⭐)은 다른 사람들이 이 것을 찾도록 도와줍니다.)
AI 어시스턴트의 도움을 받아 작성되었으며, 모든 숫자는 저장된 실행 결과와 대조되었습니다.
