제5회 Agentic AI Hackathon with Google Cloud 제출 자료

1. 프로젝트 기본 정보

• 프로젝트명: AI Consumer Research Simulator (AI 가상 소비자 조사 웹 애플리케이션)
• 슬로건: 일본의 공적 통계와 스탠퍼드 AI4PB 연구를 기반으로 한 차세대 자율형 멀티 에이전트 소비자 조사 및 상품 수용성 검증 플랫폼
• GitHub 리포지토리 URL: https://github.com/otomamayikuyorih/ai-consumer-research-simulator
• 배포 URL: https://ai-consumer-research-simulator-121643671058.asia-northeast1.run.app
• 데모 영상 URL (YouTube):
• 카테고리: Agentic AI / 마케팅 / 사회과학・의사결정 지원

2. 대상 사용자 및 해결 과제

대상 사용자

• 신상품・신규 사업을 개발하는 기획・마케팅 담당자, 브랜드 매니저
• 광고 대행사・리서치 회사 플래너・리서처
• 피험자 리크루팅이나 조사 비용 확보가 어려운 스타트업・중소기업
• 사회과학・소비자 행동론을 연구하는 대학・연구기관

해결 과제

• 조사 납기와 비용의 방대함:
  기존 소비자 설문조사나 포커스 그룹 인터뷰에는 2~4주의 기간과 수백만 엔의 비용이 소요됩니다. 신상품 가설을 고속으로 PDCA 검증(프로토타이핑)하는 것이 어려웠습니다.

• 피험자의 설문 피로와 부실 답변:
  인간 피험자 패널에서는 사례비 목적의 형식적인 답변이나 후반부의 대충 하는 답변이 발생하여 데이터 품질 저하가 과제였습니다.

• 질적 조사(정성 인터뷰)의 확장성 부족:
  정성 인터뷰는 인사이트의 보고이지만, 1회당 1시간이 걸리기 때문에 샘플 크기가 수십 명으로 제한되어 통계적 정량 조사와의 연결 고리가 단절되어 있었습니다.

• AI 생성 데이터의 신뢰성・환각(Hallucination) 우려:
  기존의 단순한 'ChatGPT를 이용한 페르소나 작성'으로는 비현실적인 속성 조합이나 모집단과의 괴리, 답변 편향성을 검증할 수 없어 비즈니스 의사결정에 사용할 수 없었습니다.

3. 솔루션 및 특징

본 플랫폼은 Dentsu의 'People Model', 'People Research', 'AI For Growth Talk'의 사상을 발전시켜, **일본 공적 통계(국세 조사・취업 구조 기본 조사・가계 조사 등)**의 다변량 결합 분포와, 미 스탠퍼드 대학교 AI for Public Benefit Lab (AI4PB) 및 Nature지(2026년)의 최신 연구 성과를 도입한 자율형 멀티 에이전트 소비자 조사 웹 애플리케이션입니다.

주요 기능 (총 10 모듈)

• 자율형 조사 오케스트레이터 (Agentic Orchestrator): 자연어로 조사 목표를 입력하는 것만으로 코호트 생성 ➔ 설문 설계 ➔ Gemini 3.5 Flash 병렬 시뮬레이션 ➔ 다변량 분석 및 전략 요약까지 자율적으로 연쇄 실행합니다. 각 단계의 모델명, 구동 시간(ms), 재시도 이력을 가시화할 수 있습니다. - 대시보드 & 공적 통계 검증: 시스템 전체 요약, 페르소나 속성 분포, 공적 통계 벤치마크 검증, 최신 조사/실험 현황 목록을 제공합니다. - 페르소나 생성 및 통계 검증: 100명~1,000명의 가상 생활자를 3가지 생성 모드(Mode A: 인구통계 / Mode B: 합성 리치 / Mode C: 정성 인터뷰 근거화)로 생성합니다. - 설문지 작성: 단일 선택, 복수 선택, 5단계 평가 척도, 주관식 형식의 질문을 자유롭게 비주얼 설계할 수 있습니다. - 조사 시뮬레이션: 생성된 페르소나 그룹에 대해 Gemini 3.5 Flash를 사용하여 초고속 병렬 답변 시뮬레이션을 실행합니다. - 결과 분석 및 다변량 분석:

• 단순 집계, 교차 집계, 카이제곱 검정(유의성 검정).

• 주성분 분석 (PCA)을 이용한 브랜드 인지 맵 산점도.

• K-Means 클러스터링을 통한 자동 생활자 세그멘테이션.

• 주관식 코멘트의 AI 요약 및 감정 비율(긍정적/중립적/부정적) 분석.

• Excel 대응 UTF-8 BOM 포함 개별 데이터 CSV 다운로드.

• 가상 A/B 실험 (Nature 2026): Control / Treatment 조건 제시 순서를 무작위화하고 프롬프트에도 제시 순서를 명시합니다. Gemini 3.5 Flash를 이용한 실제 페르소나 추론과, 평균 차이・비율 차이・효과 크기(Cohen's d) 및 대응표 t-검정을 유의성 검정으로 수행합니다 (규칙 기반은 데모 모드로 분리). - Zero-shot 절반 샘플링 견고성 검증 (Human-AI Validation): 가짜 난수 오차를 완전히 제거합니다. 실측 데이터를 50/50으로 반분하여, 사후 보정 없는 Zero-shot 추론을 통해 MAE, RMSE, Pearson 상관계수(계산 불가 시 N/A)로 AI 시뮬레이션의 예측 정확도를 객관적으로 평가합니다. r - AI 인터뷰 (1on1 Deep Talk): 설문 응답자 중 관심 있는 페르소나를 선택하여 1대1로 이유나 생활 배경을 깊이 파고드는 채팅을 진행합니다. - 콘셉트 평가 (상품 수용성 테스트): 신제품 콘셉트안・가격・설명문을 입력하고, 구매 의향・가격 수용성・활용 시나리오・개선 제안을 자동 출력합니다.

4. AI 에이전트의 특징과 자율적인 동작

본 시스템은 단순한 질의응답형 챗봇이 아니라, **'자율적 멀티에이전트 시뮬레이션 기반'**으로 설계되었습니다.

7가지 자율형 AI 에이전트

• 자율형 조사 오케스트레이터 (Autonomous Research Orchestrator Agent): 리서처의 조사 과제(목표)로부터 [코호트 생성] ➔ [설문지 자동 설계] ➔ [Gemini 3.5 Flash 병렬 답변] ➔ [다변량 통계 분석 & 임원 요약 보고서 작성]까지 자율적으로 연쇄 실행합니다. 각 단계의 모델명, 소요 시간(ms), 재시도 이력을 완벽하게 가시화할 수 있습니다.

• 통계 페르소나 생성 에이전트 (Persona Synthesizer Agent): 일본의 국세조사・취업 구조 기본 조사・가계 조사 등의 통계 상관관계를 기반으로, 연령・연봉・거주지・가족 구성・소비 가치관 등 현실적인 조합을 자율 샘플링합니다.

• 인터뷰 근거화 에이전트 (AI4PB Grounding Agent - Mode C): 스탠퍼드 대학교 AI4PB 연구를 기반으로, 실제 정성 인터뷰 기록에서 7가지 심리 행동 차원(가치관・소비 행동・구매 동기・가격 민감도・의사 결정 경향・생활 습관・흥미 관심)과 본인의 생생한 발언(Verbatim Quotes)을 추출하여, 페르소나의 기억 기반을 자율적으로 구축합니다.

• 자율 답변 추론 에이전트 (Survey Responding Agent): 각 가상 생활자가 독립적인 에이전트로서, 자신의 신념・라이프스타일・과거 답변과의 심리적 일관성을 유지하면서 설문지를 자율 답변합니다.

⚠️ [IMG:N] 형식 토큰은 이미지 placeholder 입니다. 번역하지 말고 원래 위치에 그대로 유지하세요.

• 가상 A/B RCT 에이전트 (Virtual A/B RCT Agent - Nature 2026): Nature 2026 논문의 지견을 바탕으로, 실험군・대조군의 제시 순서로 인한 닻내림 편향(Anchoring Bias)을 상쇄하기 위한 무작위화(Counterbalancing)를 실시하고, Gemini 3.5 Flash를 이용한 실제 페르소나 평가와 Cohen's d, 대응표본 t-검정을 산출합니다.

• Zero-shot 절반 샘플링 견고성 검증 에이전트 (Empirical Validation Agent): 가짜 난수 오차를 완전히 제거했습니다. 인간의 실제 측정 데이터를 50/50으로 분할하고, 사후 보정(Post-hoc Correction) 없는 Zero-shot 추론으로서 MAE, RMSE, Pearson (계산 불가 시 N/A)을 자동 검증 및 시각화합니다.

• 가짜 난수 오차를 완전히 제거했습니다. 인간의 실제 측정 데이터를 50/50으로 분할하고, 사후 보정 없는 Zero-shot 추론으로서 MAE, RMSE, Pearson

• 1on1 정성 심층 대화 에이전트 (Qualitative Interview Agent): 인간 인터뷰어의 질문 의도를 해석하고, 페르소나의 생활 맥락과 설문 응답 이력을 참조하여 자율적으로 사고하며 실제 심리를 이야기합니다.

5. 사용 중인 Google Cloud 서비스

6. 거버넌스・보안・윤리 설계 (해커톤 중점 테마)

• 실존 피험자 데이터의 엄격한 동의 관리 (GDPR / 개인정보보호법 준수): Mode C(정성 인터뷰 수집)에서는 조사 참가자의 본인 동의 확인 플래그(consent_confirmed)를 기본값 False로 설정합니다. 동의 체크가 없는 수집 요청은 API 레벨에서 즉시 400 Bad Request 거부됩니다.

• 심사용 공개 환경에서의 실존 개인 데이터 변형・삭제 보호: Cloud Run 공개 환경(RESTRICT_PUBLIC_DATA_MODIFICATION=true)에서는 실존 개인 데이터의 신규 업로드 및 초기 베이스 데모 데이터 삭제를 403 Forbidden으로 보호합니다.

• Gemini API 실패 시 페일 세이프와 추론 완전성: 만일의 Gemini API 타임아웃이나 실패 시에는, 모크(Mock)로 자동 전환함을 UI 상에 명확하게 경고 표시(mock_fallback_warning)합니다. 실제 AI 추론 데이터로 오인・영구 저장되는 것을 방지합니다.

• 합성 데이터와 공적 통계의 명확한 구분: UI 전 페이지에 '공적 통계 기반 AI 합성 시뮬레이션이며, 실존 모집단 조사 결과와는 구별하여 해석해야 함'을 촉구하는 면책 배너와 메타데이터 태그를 상시 표시합니다.

• 공적 통계 벤치마크의 인용원 및 가정 명시: 총무성 통계국 『레이와 2년 국세 조사』『레이와 4년 취업 구조 기본 조사』『2023년 가계 조사 연보』, 국세청 『레이와 4년분 민간 급여 실태 통계 조사』의 인용원・대상 연도 및 6가지 소비 가치관 세그먼트의 수동 설정 가정을 UI 및 README 상에서 공개합니다.

7. 심사위원 대상 동작 확인 절차

• 접속: 배포 URL(또는 로컬 실행 환경 http://127.0.0.1:8000)을 엽니다.
• 상태 확인: 오른쪽 상단의 'GCP Cloud Run / Gemini' 상태 배지를 클릭하면, /api/status의 실행 메타데이터를 확인할 수 있습니다.
• 자율 조사 오케스트레이터 체험: 상단 화면의 '자율 조사 오케스트레이터'에서 프리셋을 선택하여 실행합니다. 에이전트가 4단계(페르소나 생성 ➔ 설문 설계 ➔ 시뮬레이션 ➔ 다변량 분석 & 전략 요약)를 자율적으로 연쇄 실행하는 모습과 Provenance를 확인할 수 있습니다.
• 페르소나 생성 & 공적 통계 검증: 상단 메뉴 '기본 조사 플로우' → '페르소나 생성・검증'을 열고, '공적 통계 벤치마크 검증' 버튼을 누르면, 인구총조사 등의 데이터와의 분포 일치도와 수동 설정 가정이 확인됩니다.
• 조사 시뮬레이션: '설문지 작성' 또는 프리셋 조사에서 '조사 시뮬레이션'을 실행합니다. 가상 생활자들이 한 번에 답변을 생성합니다.
• 다변량 분석: '결과 분석・다변량'에서 막대 그래프, 교차 집계 & 카이제곱 검정(Chi-squared test), PCA 산점도, K-Means 클러스터링, 자유 기술 AI 요약 등을 열람할 수 있습니다.
• AI4PB 학술 실험: 상단 메뉴 'AI4PB 학술 실험・검증'에서 '가상 A/B 실험' 및 'Human-AI 검증'을 열고, Nature 2026 준거의 순서 무작위화 실추론(sequential randomized inference) 및 실측 데이터와의 50/50 절반 견고성 평가를 실행할 수 있습니다.
• AI 인터뷰: '정성 대화・상품 평가' → 'AI 인터뷰'에서 답변자 한 명을 선택하고, '왜 이 상품을 선택했나요?'라고 질문하면, 생활 배경에 뿌리내린 생생한 답변이 돌아옵니다.

Discussion